클라우드플레어, AI 추론 개발자 플랫폼 출시

선도적인 커넥티비티 클라우드 기업인 클라우드플레어(Cloudflare)가 AI 애플리케이션을 구축하고자 하는 개발자에게 최상의 엔드 투 엔드 경험을 제공하는 개발자 플랫폼을 선보인다고 밝혔다. 이로써 개발자들은 이제 클라우드플레어의 네트워크에서 풀 스택 AI 애플리케이션을 구축할 수 있게 된다.

클라우드플레어 개발자 플랫폼을 사용하면 개발자들은 별도의 인프라 관리 없이 빠르고 합리적인 가격에 추론이 가능하다. 스타트업에서 중견 기업까지 모든 기업에서 AI를 활용해 서비스를 강화하고자 나서는 가운데, 클라우드플레어 플랫폼은 보안, 규제 준수, 속도를 기본으로 제공해 개발자가 프로덕션에 사용할 수 있는 애플리케이션을 신속히 배포할 수 있도록 한다.

포춘지 선정 1000대 기업부터 AI 스타트업까지, 비즈니스 리더들은 프로덕션 규모에 맞는 AI 기반 애플리케이션 출시를 희망하고 있다. 조직들은 이러한 가치 실현을 위해 신속하게 움직이고자 하지만, AI 배포 과정에서 불투명한 비용이 발생하거나 비용이 급속히 불어나며, 고객 데이터를 보호하는 한편 규제도 준수해야 하는 등의 문제에 직면하고 있다. 개발자의 경우에는 특히 여러 새로운 벤더를 상대하는 특성상 새로운 도구를 빠르게 이해하고, 복잡하고 상이한 서비스를 하나로 연결해야 하기 때문에, 고위 경영진은 고가의 기술, 도구, 인력 가운데서 비용을 최적화할 방법을 찾고 있다.

매튜 프린스(Matthew Prince) 클라우드플레어 CEO 겸 공동 창업자는 “클라우드플레어는 개발자가 확장 가능한 AI 기반 애플리케이션을 구축하는 데 필요한 모든 인프라를 갖추고 있으며, 사용자에게 근접한 AI 추론을 제공할 수 있다”며 “우리는 모든 개발자가 강력하고 합리적인 가격의 도구에 쉽게 액세스하여 미래를 구축할 수 있도록 투자하고 있다. ‘워커스 AI(Workers AI)’는 일반적으로 몇 주에서 몇 달이 걸리는 일을 며칠 만에 효율적이고 경제적으로 프로덕션에 바로 사용할 수 있는 AI 환경을 구축할 수 있도록 지원한다”고 말했다.

◆ 워커스 AI(Workers AI): 업계 최초의 대규모 서버리스 AI

클라우드플레어 워커스AI는 개발자들이 클라우드플레어의 글로벌 네트워크에서 AI 모델을 실행할 수 있는 간단하고 합리적인 가격의 방법을 제공한다. 파트너십을 통해 클라우드플레어의 대규모 글로벌 네트워크에서 작동하는 GPU에 대한 액세스를 제공하고, 사용자와 근접한 곳에서 AI 추론이 이루어지도록 하여 최종 사용자 경험에서 대기 시간을 절감시켜준다. 또한, 데이터 검증시에는 최종 사용자 경험에서 대기 시간을 감소시켜 AI 추론이 사용자에게 근접할 수 있게 보장한다.

데이터 검증 위치를 제어하는데 도움이 되는 데이터 로컬라이제이션 제품군과 결합하면, 고객은 워커스 AI를 통해 정부가 AI 사용에 관한 정책을 만들 때 발생할 수 있는 잠재적인 규정 준수 및 규제 요건을 예측할 수 있다. 애플리케이션 개발에 대한 클라우드플레어의 개인정보 보호 우선 접근 방식은 추론에 사용된 데이터가 LLM 학습에 사용되지 않도록 보장함으로써 기업이 고객과의 약속을 지킬 수 있도록 지원한다. 클라우드플레어는 현재 개발자가 빠르게 작업에 착수할 수 있도록 모델 카탈로그를 지원하며, 여기에는 LLM, 음성 텍스트 변환, 이미지 분류, 감정 분석 등의 사용 사례가 포함되어 있다.

◆ 벡터라이즈(Vectorize): AI 워크플로우 속도를 높이는 벡터 데이터베이스

클라우드플레어의 새로운 벡터 데이터베이스 벡터라이즈는 개발자들이 온전히 클라우드플레어에서 전체 스택 AI 응용 프로그램을 구축할 수 있게 한다. 벡터라이즈는 워커스 AI의 기본 제공 모델을 사용해 임베딩을 생성하는 것부터, 이를 벡터라이즈에서 색인화하고, 쿼리로 만들어 소스 데이터를 R2에 저장하기까지 전 과정을 지원한다. 개발자들은 워커스 AI와 벡터라이즈를 사용하면 더 이상 AI와 머신 러닝으로 앱의 성능을 강화하기 위해 여러 조각을 붙일 필요 없이 하나의 플랫폼에서 이 모든 작업을 수행할 수 있다.

또한 벡터라이즈는 클라우드플레어의 글로벌 네트워크 이점을 활용하여 사용자와 더 근접한 곳에서 벡터 쿼리를 수행하고 대기 시간과 전체 추론 시간을 전반적으로 단축할 수 있다. 벡터라이즈는 보다 광범위한 AI 생태계와 통합되어 개발자가 오픈AI(OpenAI)나 코히어(Cohere)로 생성된 임베딩을 저장할 수 있으므로. 팀은 이미 보유하고 있는 임베딩을 가져와서 AI 앱을 프로덕션으로 확장할 때 벡터라이즈의 이점을 누릴 수 있다.

◆ AI 게이트웨이(AI Gateway): AI를 위한 통합 가시성 및 확장성

클라우드플레어는 AI 애플리케이션의 안정성, 관찰 가능성, 확장성을 높이기 위한 AI 게이트웨이를 선보였다. IDC의 최신 전망에 따르면, 올해 AI 지출은 1540억 달러로 급증하고, 2026년에는 3000억 달러 이상으로 증가할 것으로 예상된다. 하지만 개발자와 고위 경영진은 AI 인프라 전반에서 비용이 어떻게 지출되고 있는지, 얼마나 많은 쿼리가 어디에서 생성되고 있는지 파악할 방법이 없다.

개발자들은 구축 뒤에 숨겨진 인프라나 규모, 비용, 또는 관찰 가능성이 아니라 자신이 구축하는 대상에 집중할 수 있어야 한다. AI 게이트웨이는 개발자에게 요청 수, 사용자 수, 앱 실행 비용, 요청 기간과 같은 AI 트래픽을 이해할 수 있는 통합 가시성 기능을 제공한다. 또한, 개발자는 캐싱 및 속도 제한을 통해 비용을 관리할 수 있다. 캐싱을 이용하면, 반복되는 질문에 대한 답을 캐시로 저장할 수 있어서 값비싼 API를 지속적으로 여러 번 호출할 필요성을 줄일 수 있다. 속도 제한은 악의적인 행위자와 트래픽 폭주를 관리해 성장과 비용을 관리하는데 도움이 되며, 개발자에게 애플리케이션 확장에 대한 제어 능력을 부여한다.

시장 조사 업체 레드몽크(RedMonk)의 수석 애널리스트 스티븐 오그래디(Stephen O’Grady)는 “기업이 운영 속도를 극대화할 방안을 모색함에 따라, 점점 많은 기업이 AI로 방향을 틀고 있다”며 “그러나 비용을 모니터링하는 인터페이스 및 제어창을 단순화하는 추출과 더불어 AI를 중심으로 한 양질의 개발자 경험을 제공하는 것이 중요하다. 이것이 바로 클라우드플레어가 개발자 플랫폼을 최적화한 이유”라고 말했다.

가민 인터내셔널(Garmin International)의 에지 아키텍트 아론 데린저(Aaron Dearinger)는 “가민은 사용자의 모든 달리기, 운동, 야외 모험을 함께하며, 시계와 기기의 전원이 몇 시간 또는 며칠이 아닌 몇 주 또는 몇 달 동안 지속될 수 있도록 보장하고자 한다”라며 “우리는 AI의 성능과 속도, 사용자에 대한 근접성, 그리고 무엇보다도 개인 정보 보호를 최우선으로 하는 클라우드플레어의 혁신에 기대가 크다. 이는 사용자가 탐험할 때 더욱 발전된 피트니스, 웰니스, 모험에 대한 인사이트를 제공하는 것을 목표로 하는 우리에게 많은 잠재력을 보여준다”고 말했다.

◆ 클라우드플레어의 개발자 플랫폼에 대한 보다 자세한 정보는 다음 자료를 통해 확인할 수 있다.

• 워커스 AI(Workers AI) 액세스 등록하기
• 블로그: 워커스 AI: Cloudflare 네트워크의 GPU에서 실행되는 추론 클라우드
• 블로그: 벡터라이즈: AI 기반 애플리케이션을 프로덕션에 빠르게 제공하기 위한 벡터 데이터베이스
• 블로그: AI 게이트웨이: 더 믿을 수 있고, 관찰할 수 있으며, 확장할 수 있게 된 AI 애플리케이션
• 블로그: 지역 내 최고의 위치: 추론을 위한 기반

이 밖에 클라우드플레어로 풀 스택 AI 애플리케이션을 구축하는 방법은 AI.cloudflare.com에서 확인할 수 있다.

• 관련 기사 더 보기