크라우드웍스, ‘AI 컨퍼런스’서 기업 맞춤형 LLM 도입 전략 발표

AI 테크 기업 크라우드웍스(대표이사 김우승)는 지난 17일 서울 여의도 콘래드 호텔에서 ‘2024 크라우드웍스 AI 컨퍼런스’를 성황리에 개최했다고 밝혔다.

이번 컨퍼런스는 각 기업이 LLM을 활용해서 어떻게 성공적으로 도입할 수 있을지에 대한 실질적 인사이트를 공유하기 위해 마련됐다. 금융, 통신, 제조, 국방 등 다양한 산업 전반의 AI 비즈니스 관계자 200여 명이 참석한 가운데, 김우승 크라우드웍스 대표이사의 개회사로 오프닝을 열었다.

김 대표는 “AI는 더 이상 미래의 기술이 아닌 현재의 핵심 기술로 자리매김하고 있다”며 “고객들이 진정으로 원하는 AI 기반 시스템이나 서비스는 ‘고객의 데이터’라는 충분조건이 충족될 때 비로소 완성된다”고 말했다.

또한 “크라우드웍스는 데이터 전문 조직으로서 어떤 데이터가 기업 비즈니스 환경에 최적화된 모델을 구축하는데 적합한지 확실히 알고 체계화된 프레임워크에 따라 데이터를 설계하고 구축한다”며 “다수의 LLM-ready 데이터 구축 경험도 가지고 있어 기업들의 믿을 수 있는 AI 파트너로 큰 경쟁력을 확보하고 있다”고 강조했다.

이어 성공적인 LLM 구축 전략 및 도입 사례에 대한 산업계 전문가들의 발표와 질의응답 시간이 이어졌다. ‘기업 맞춤형 LLM 도입 전략’을 주제로 발표한 박영진 크라우드웍스 AI 전략실 실장은 LLM을 회사에 도입하기 위해서는 업무에 대해서 정확하게 알아야 한다고 강조했다.

박 실장은 “언어모델 도입전략은 데이터에 의해 결정되며 업무의 흐름과 맥락을 파악하는 것은 곧 데이터의 내용과 구성, 맥락을 파악하는 것”이라고 설명했다. “RAG도 마찬가지로 데이터의 ‘메타 데이터’ 파악이 필수이며 RAG는 대상 문서의 관련성, 최신성 및 세부 정보에 큰 영향을 받으며 문서의 의미적 구조적 분석이 중요하다”고 덧붙였다.

이진우 크라우드웍스 EN팀 팀장은 ‘LLM 서비스 신뢰성 검증 평가’를 주제로 발표를 맡았다. 머신과 휴먼 인프라를 활용한 ‘하이브리드 레드팀(Hybrid Red Teaming)’ 실험 결과의 인사이트를 참가자들과 공유했다.

이 팀장은 “GPT-4를 활용한 실험 결과 공통 질의에 대해서는 방어율이 높았으나, 금융이나 의료 등 특수 도메인 특화 프롬프트 공격에 대해서는 방어율이 취약함을 확인했다”고 설명했다. 또한 “머신 레드팀을 통해 광범위 공격 수행 후 머신이 실패한 공격에 대해 휴먼 리소스를 투입하고, 파인튜닝 데이터 구축을 병행하는 것이 이상적이며 이 때 휴먼 레드팀 에이전트의 높은 퍼포먼스가 필요하다”고 강조했다.

이밖에도 KB국민카드 박창용 과장과 조은종 과장은 ‘금융이 LLM을 만나는 법’을 주제로 강연하고, 김효준 우리은행 차장은 ‘생성형 LLM을 활용한 AI Banker 서비스의 기획과 구현’을 주제로 인사이트를 공유했다.

한편 크라우드웍스는 LLM 분야에 대한 깊은 관심과 투자를 바탕으로 기업맞춤형 LLM 서비스 구축에 관한 적극적인 연구개발 활동을 전개하고 있다. 지난 1년 간 금융권을 포함한 여러 산업군의 고객사들과 다양한 AI 시범 사업을 수행하며 실질적 성과를 도출하고 있다.

• 관련 기사 더 보기