이든티앤에스, ‘오픈-Ko LLM’ 리더 보드 성능 평가 2위 달성

RPA(로봇 프로세스 자동화) 솔루션 전문 기업 (주)이든티앤에스가 ‘오픈-Ko LLM’ 리더 보드 성능 평가에서 2위를 달성했다.

오픈-Ko LLM’ 리더보드는 업스테이지와 한국지능정보사회진흥원(NIA)이 공동 운영하는 한국어 LLM의 성능 평가 플랫폼이다. 해당 플랫폼은 허깅페이스의 영어 버전 LLM 리더보드를 모델로 삼아, 한국어 상식 생성 능력 등을 포함한 다양한 지표로 모델들을 평가한다. 현재 ‘오픈-Ko LLM’ 리더보드는 출시 3개월 만에 600개가 넘는 모델이 등록되며, AI 학계와 산업계에서 주목받고 있다.

지난 7일 ‘오픈-Ko LLM’에서 이든티앤에스의 Edentns/DataVortexS-10.7B-dpo-v1.0가 2위에 올랐다. Edentns/DataVortexS-10.7B-dpo-v1.0 모델의 성능평가 평균 점수는 57.92점이며, 특히 AI가 짧은 글 및 지시 사항에 알맞은 문장을 생성하는지를 측정하는 Ko-HellaSwag 분야에서 65.81점으로 높은 점수를 받았다. 해당 모델은 DPO(Direct Preference Optimization) 강화 학습법을 적용한 매개변수 10.7억개의 모델이다.

5위를 차지한 모델도 있다. Edentns/DataVortexS-10.7B-dpo-v1.1 역시 강화 학습법으로 DPO방식을 채택했으며, 적용한 매개변수는 10.9억개다.

이든티앤에스 김연기 대표는 “유수의 IT기업들과 경쟁에서 자사의 한국어 기반 LLM이 상위권 순위로 진출해 자부심을 느낀다”라며, “LLM 기술을 적극적으로 활용해 기업의 업무 프로세스를 효율적으로 자동화할 수 있도록 지원하는 대화형 ‘웍트로닉스 RPA Copilot’ 서비스를 개발할 예정”이라고 밝혔다.