에이프리카, 엔터프라이즈 LLM 시장 진출

인공지능(AI) 개발 및 클라우드 관리 플랫폼 소프트웨어 전문기업 에이프리카(대표 강선근)가 6일 LLMOps 플랫폼을 바탕으로 엔터프라이즈 LLM 시장에 본격적으로 진출한다고 밝혔다.

챗GPT의 등장으로 생성형 인공지능(AI)이 확산되면서, 기업들은 물론 공공에서도 초거대언어모델(LLM)을 도입하려는 시도가 늘어나고 있다. 대규모 데이터셋으로 훈련한 수천억 개의 매개변수를 가진 LLM을 도입하여 활용하기 위한 방안으로 LLMOps가 주목받고 있다.

일반적인 MLOps가 하나의 AI 모델을 개발하고 최적화해 서비스를 제공하는 방법론이라면, LLMOps는 이를 LLM에 적용하여 기업의 내부 보안 정보 유출 방지와 같은 특정 요구에 맞는 LLM 선정 및 학습, 배포 등 운영을 위한 사이클을 통합 관리할 수 있는 체계이다. 따라서 이 LLMOps를 효과적으로 구현하기 위해서는 MLOps와 LLM에 대한 기술과 경험이 필수적이다.

에이프리카는 이미 2019년부터 MLOps 플랫폼 소프트웨어 ‘치타’를 개발하여, 경찰청, 광주과학기술원, 현대글로비스 등 주요 공공기관 및 기업에 공급함으로써 AI 모델 개발에 필요한 데이터 관리부터 모델 개발, 배포와 HPC 인프라 운영까지 전 과정을 지원하고 있다. 또한 작년 11월에는 자사의 인공지능연구소를 통해 보안강화와 환각현상(할루시네이션) 방지에 초점을 둔 기업 전용 프라이빗 LLM 서비스 ‘가젤 LLM’을 출시하며, 기존 MLOps 솔루션 분야를 넘어 프라이빗 LLM 분야까지 비즈니스의 폭을 넓혀가고 있다.

에이프리카의 LLMOps 제품은 자사의 치타 플랫폼을 기반으로 LLM 특화 기능이 추가되는 형태이며, 우선 RAG 기반의 LLM모델을 배포 모니터링 하는 기능을 시작으로 LLM모델 파인튜닝 기능, 프롬프트 관리 기능, 벡터데이터 관리 등을 순차적으로 지원될 예정이다. 이를 통해 폐쇄형 환경에서 내부 보안 데이터로 LLM 기술을 접목하고자 하는 기업이나 머신러닝(ML) 엔지니어를 보유하고 있지 않은 기업들도 손쉽게 LLM을 도입할 수 있을 뿐만 아니라 문서 데이터만 입력하면 LLM 모델을 재훈련하고 자동 배포되는 RAG 기반의 LLM 파이프라인 전 과정을 자동화할 수 있게 된다.

강선근 에이프리카 대표는 “LLMOps 플랫폼은 초거대언어모델(LLM)을 효과적으로 활용하고자 하는 모든 기업에게 필수적인 도구”이며, “치타가 LLM 시장에서 핵심 LLMOps 제품으로서의 위치를 공고히 하고, 기업이 복잡한 기술적 장벽 없이 언어모델을 도입하고 활용할 수 있도록 적극적으로 도울 것”이라고 밝혔다.

한편 에이프리카는 2월27일 열리는 ‘Gen AI Seoul 24’ 전시에서 자사의 가젤 LLM과 LLMOps 제품을 소개할 예정이다.

• 관련 기사 더 보기