스켈터랩스 “자체 AI 언어모델, 한국어 기계독해 평가 1위”

스켈터랩스는 자체 개발한 한국어 AI 언어 모델이 한국어 기계 독해 데이터셋(KorQuAD 1.0) 기반 성능 평가 리더보드에서 F1 스코어 95.15점을 받아 1위를 기록했다고 밝혔다.

KorQuAD 1.0은 LG CNS가 지난 2018년 공개한 한국어 질의응답 데이터셋. F 스코어는 AI 모델이 찾는 답과 실제 정답을 글자 단위로 비교해 정밀도와 재현율을 종합 고려한 수치다. KorQuAD 1.0은 여기에 모델이 정답을 정확하게 맞춘 데이터 비율을 뜻하는 EM 스코어를 더해 성능 평가 결과를 부여한다. 문제를 인간이 직접 풀면 F1 스코어 91.20점, EM 스코어 80.17점을 기록, 이를 기준으로 인간 대비 AI 독해력을 평가한다.

스켈터랩스는 이 같은 평가에서 F1 스코어 95.15점을 기록한 것. 회사 측은 이번에 평가 받은 자사 AI 모델이 적은 양의 학습 데이터로도 한국어에서 관찰되는 다양한 고유 특성을 학습할 수 있게 설계됐고 새로 개발되는 언어 모델이나 활용 분야에 유연하게 적용할 수 있게 자체 프레임워크를 개발해 모델 성능 향상에 중점을 뒀다고 설명했다.

스켈터랩스는 이번 모델을 바탕으로 한 질의응답 기술을 올 상반기 내 자사 AI 챗봇 설계 솔루션(AIQ.TALK Chatbot)에 적용하고 모듈 단위로도 제공할 방침이다. 조성진 스켈터랩스 CTO는 “언어모델 성능을 지속적으로 끌어올려 한국어 자연어이해 분야에서 최고의 기술력을 갖춘 기업으로 공고히 자리매김해 나가는 한편 음성 인식 기술 고도화에도 집중하겠다”고 밝혔다.