데이터브릭스, ‘레이크하우스 앱’ 출시

데이터 및 AI 기업 데이터브릭스(Databricks)가 견고한 보안 환경에서 데이터브릭스 네이티브 애플리케이션을 개발하도록 지원하는 ‘레이크하우스 앱(Lakehouse Apps)’을 출시했다. 이로써 전 세계 1만여 이상의 데이터브릭스 고객들은 완벽한 보안 및 거버넌스 기능 아래 자신의 데이터를 활용해 온전히 그들의 레이크하우스 인스턴스에서 실행되는 다양한 애플리케이션에 손쉽게 액세스할 수 있게 됐다.

◆ 데이터 및 AI에 대한 접근성 확대

데이터와 AI 애플리케이션은 가장 빠르게 성장하는 소프트웨어 분야 중 하나로, 생성형 AI 기술과 대형 언어 모델(LLM)이 발전하면서 이러한 추세가 가속화되고 있다. 새롭게 출시된 레이크하우스 앱을 통해 기업들은 가장 안전한 방식으로 레이크하우스에서 데이터의 가치를 극대화하는 애플리케이션을 구동하는 것은 물론 데이터브릭스 네이티브 서비스를 활용하며 새로운 기능을 통해 데이터브릭스 서비스를 확장할 수 있다.

뿐만 아니라 레이크하우스 앱은 사용자가 여러 혁신적인 신규 애플리케이션에 보다 안전하고 쉽게 액세스 하는 동시에, 데이터 및 AI 애플리케이션을 채택, 통합 및 관리하는 데 드는 시간과 노력을 최소화하도록 한다.

◆ 개발자에게 견고한 보안 환경 제공

오늘날 소프트웨어 공급업체는 혁신적인 차세대 애플리케이션을 사용자에게 제공하는 과정에서 다양한 도전과제를 마주하게 된다. 고객 데이터에 안전하게 접근하고, 고객의 보안 및 거버넌스 솔루션을 통합하며, 고객의 데이터와 가까운 위치에서 애플리케이션을 효율적으로 실행해야 하기 때문이다.

현재 많은 개발자들은 자신이 개발한 애플리케이션 채택을 촉진하기 위해 크게 두 가지 접근 방식을 취하고 있다. 첫 번째는 애플리케이션의 기능을 제한하여 주요 부분을 데이터 플랫폼 공급업체의 SQL 또는 독점 코드로 재구축하는 것이다. 두 번째는 고객이 직접 설치 및 운영해야 하는 별도의 제품 버전을 개발하는 것인데, 이러한 접근방식은 보안에 취약하고 확장성이 낮다는 한계점이 있다.

레이크하우스 앱은 개발자들이 안전하면서도 성능저하가 없는 네이티브 솔루션을 통해 이 같은 딜레마를 극복할 수 있도록 지원한다. 레이크하우스 앱은 고객의 데이터브릭스 인스턴스에서 직접 실행된다. 따라서 데이터가 고객의 인스턴스를 벗어나지 않고도 애플리케이션과 쉽고 안전하게 통합되고 데이터브릭스 서비스를 확장하며, 싱글 사인온(SSO) 환경과 상호작용할 수 있다.

더불어 레이크하우스 앱은 데이터브릭스와 동일한 수준의 보안, 개인정보보호 및 컴플라이언스를 보장하며, 개발자는 특정 프레임워크에 국한되지 않고 원하는 기술과 언어를 사용해 다양한 애플리케이션을 구축할 수 있다. 또한 개발자들은 자신들의 레이크하우스 앱을 데이터브릭스 마켓플레이스에 등록해 보다 간편하게 배포할 수 있으며, 이를 통해 사용자들은 원하는 소프트웨어를 신속하게 검색해 바로 사용할 수 있다.

◆ 데이터브릭스 마켓플레이스, 신규 AI 모델 공유 기능 및 데이터 제공업체 추가

아울러, 데이터브릭스는 자사 마켓플레이스에서 AI 모델 공유 기능을 추가로 제공할 예정이다. 해당 기능은 데이터 소비자 및 제공자가 AI 모델을 수익화하고, 자신의 데이터 솔루션에 통합할 수 있도록 지원한다. 데이터브릭스 고객은 AI 모델 공유를 통해 업계 최고 수준의 AI 모델에 자신의 데이터를 신속하고 안전하게 적용할 수 있다. 데이터브릭스는 명령어 추종 및 텍스트 요약과 같은 일반적인 사용사례 전반에 걸쳐서 오픈소스 모델을 선별 및 공개하고, 데이터브릭스 플랫폼에서 해당 모델의 튜닝 및 배포를 최적화하는 작업을 진행할 계획이다.

또한 데이터브릭스 마켓플레이스에는 새로운 데이터 제공업체들이 합류했다. 여기에는 금융 서비스 선도기업인 S&P 글로벌(S&P Global), 익스페리안(Experian), 런던증권거래소 그룹(London Stock Exchange Group), 나스닥(Nasdaq), 코어로직(Corelogic) 및 이핏데이터(YipitData), 헬스케어 기업인 데이터반트(Datavant) 및 IQVIA, 수자원 인프라 분석 업체인 디비로드(Divirod), 아큐웨더(Accuweather) 및 세이프그래프(Safegraph), 데이터 협업 기업 라이브램프(LiveRamp), 비즈니스 정보 서비스 기업인 렉시스넥시스(LexisNexis) 및 줌인포(ZoomInfo) 등이 포함된다.

마테이 자하리아(Matei Zaharia) 데이터브릭스 공동창업자 겸 CTO는 “레이크하우스 앱을 통해 소프트웨어 제공업체는 레이크하우스 내에서 다양한 애플리케이션을 안전하게 제공할 수 있게 됐다. 이는 데이터브릭스 고객과 소프트웨어 공급업체 모두에게 상당한 이점을 가져다줄 것으로, 애플리케이션이 신규 고객에게 도달하는 데 따르는 여러 과제를 해결할 것”이라며 “특히 기업 간 협업이 단순한 데이터셋 교환을 넘어 안전한 환경에서 공동 데이터를 가지고 연산 및 AI 모델을 구축하는 방향으로 진화하고 있는 이 시점에 애플리케이션뿐 아니라 AI 모델까지 포괄하는 데이터브릭스 마켓플레이스는 오늘날 매우 중요한 비즈니스 요구를 충족시켜 줄 것”이라고 덧붙였다.

◆ 신규 파트너 영입으로 데이터 공유 생태계 확장

데이터브릭스는 또한 클라우드플레어(Cloudflare), 델(Dell), 오라클(Oracle) 및 트윌로(Twilio)와 새로운 델타 쉐어링(Delta Sharing) 파트너십을 체결하며 데이터 공유 생태계를 한층 확대했다. 델타 쉐어링은 레이크하우스에서 모든 컴퓨팅 플랫폼으로 라이브 데이터를 안전하게 공유할 수 있는 개방형 솔루션을 제공한다.

오늘날의 데이터 경제에서 조직이 성공하기 위해서는 데이터와 AI를 활용한 혁신적인 비즈니스 솔루션과 제품의 지속적인 개발이 요구된다. 이를 위해서는 고객, 파트너 및 공급업체와 데이터 및 AI 자산을 개방적이면서도 안전하게 교환할 수 있어야 한다. 하지만 개방형 표준 공유 솔루션의 부재로 인해 개방형 데이터 교환 생태계의 발전은 제한되어 왔다. 따라서 기업들은 협업 시 여러 플랫폼, 클라우드, 그리고 지역에 걸쳐 데이터를 복제해야 했다. 또 기존의 솔루션은 데이터 위주의 접근방식을 취했기 때문에 기업이 데이터셋 이상의 것으로 수익을 창출하거나, 호환되지 않는 플랫폼으로 새로운 수익 기회를 모색하는데 한계가 있었다.

델타 쉐어링은 조직들이 데이터브릭스를 포함한 특정 데이터 공유 시스템에 의존하지 않고 여러 플랫폼, 클라우드 및 지역에 걸쳐 라이브 데이터셋을 공유 및 소비할 수 있도록 한다. 데이터 제공자와 소비자가 모두 동일한 플랫폼과 공급업체를 사용해야 하는 여타 공유 솔루션과 달리, 델타 쉐어링을 통해 기업들은 개방형 델타 쉐어링 프로토콜을 지원하는 모든 플랫폼 또는 공급업체의 데이터를 공유하고 소비할 수 있을 뿐 아니라, 델타 쉐어링을 기반으로 하는 개방형 접근방식으로 자신의 데이터를 활용해 보다 신속하게 인사이트를 도출할 수 있다.

데이터브릭스는 클라우드플레어, 델, 오라클, 트윌로 등 새로운 파트너와 델타 쉐어링 생태계를 확장함으로써 이들의 플랫폼은 물론, 데이터브릭스, 아파치 스파크(Apache Spark™), 판다스(pandas), 파워BI(PowerBI), 엑셀(Excel), 그리고 개방형 프로토콜을 지원하는 기타 시스템 간에 데이터를 원활하게 공유할 수 있도록 한다는 계획이다.

따라서 파트너들은 비용이 많이 들고 복잡한 복제 과정 없이 데이터, AI 모델 및 노트북에 대한 실시간 접근을 소비자와 직접 공유할 수 있으며, 데이터 제공업체는 클라우드, 지역 또는 플랫폼과 관계없이 모든 소비자의 접근 권한을 손쉽게 관리할 수 있다. 한편, 소비자는 개방형 델타 쉐어링 클라이언트를 통해 특정 공급업체 솔루션에 종속되지 않고 여러 컴퓨팅 플랫폼에서 공유 데이터에 접근할 수 있다.

매튜 프린스(Matthew Prince) 클라우드플레어 공동창업자 겸 CEO는 “우리는 데이터가 이끄는 AI 혁명의 중심에 서 있다”며, “클라우드플레어 R2는 벤더 종속으로 어려움을 겪는 기업에게 획기적인 가치를 제시하는 동시에, 개발자가 데이터를 어디로 이동하고 사용할지 선택할 수 있는 권한을 유지하도록 보장한다. 클라우드플레어의 방대한 글로벌 네트워크와 제로 이그레스(zero egress) 스토리지가 데이터브릭스의 강력한 공유 및 처리 기능과 결합된다면, 양사 고객은 전 세계에서 가장 빠르고 안전하며 경제적인 데이터 공유 기능을 누리게 될 것”이라고 설명했다.

그레그 핀들렌(Greg Findlen) 델 테크놀로지스의 데이터 관리 사업부 제품 관리 담당 수석부사장은 “델과 데이터브릭스는 신규 기능을 통해 기업들이 멀티 클라우드를 도입해 온프레미스 및 클라우드 환경 전반에서 데이터에 쉽게 접근하고 데이터를 결합하는 것은 물론, 델타 쉐어링으로 데이터를 안전하게 공유할 수 있도록 도울 것”이라고 말했다.

데이터브릭스 마켓플레이스는 현재 프리뷰로 공개되었으며, 2023년 6월 28일 정식 출시될 예정이다. 레이크하우스 앱과 데이터브릭스 마켓플레이스의 AI 모델 공유 기능은 2024년 프리뷰로 공개될 예정이다.

한편 데이터브릭스는 미국 샌프란시스코에서 지난 26일부터 29일까지 데이터브릭스의 최신 업데이트 기술 및 소식을 공유하는 ‘데이터 + AI 서밋’ 행사를 진행한다. 온라인 참석은 행사 페이지에서 등록이 가능하며, 한국 시간으로 오는 29일과 30일 양일 오후 12시에는 한국어로 더빙된 온라인 행사가 진행될 예정이다.

• 관련 기사 더 보기