-거버넌스, 모니터링, 확장 기능 강화로 기업의 AI 에이전트 배포를 더욱 안정적으로 지원
데이터 및 AI 기업 데이터브릭스(Databricks)는 기업들이 AI 에이전트를 시범(pilot)단계를 넘어 대규모 운영 환경에 성공적으로 도입할 수 있도록 지원하는 새로운 도구를 공개했다. 이를 통해 기업이 고부가가치 활용 사례에서 AI를 더욱 신뢰하고 효과적으로 활용할 수 있도록 지원한다는 방침이다.
현재 전 세계 기업의 85%가 생성형 AI를 사용하고 있지만, 가장 발전된 모델도 기업별 데이터에 대한 이해 부족으로 인해 비즈니스에 특화된 체계적인 결과를 제공하는 데 어려움을 겪고 있다. 이번에 발표된 신규 도구는 기업이 AI 에이전트를 비즈니스에 필수적인 고부가가치 애플리케이션에 도입할 수 있도록 지원하며, 정확성과 거버넌스를 보장하고 사용 편의성을 높이는 데 초점을 맞추고 있다. 주요 기능은 다음과 같다.
AI 모델에 대한 중앙 집중식 거버넌스: 모든 AI 모델(오픈 소스 및 상업용 모델)을 한 곳에서 관리할 수 있도록 지원하며, 모자이크 AI 게이트웨이(Mosaic AI Gateway)를 통해 맞춤형 대규모 언어 모델(LLM) 공급자를 활용할 수 있다. 이를 통해 모델 전반에 걸쳐 일관된 거버넌스, 모니터링 및 통합 기능을 제공한다.
기존 애플리케이션 워크플로우와의 손쉬운 통합: AI/BI Genie 대화형 API 스위트(suite, 제품군)는 개발자가 자연어 기반 챗봇을 맞춤형 애플리케이션이나 마이크로소프트 팀즈, 쉐어포인트, 슬랙과 같은 인기 있는 생산성 도구에 직접 통합할 수 있도록 한다. 또한, 지니 API(Genie API)를 통해 사용자는 프로그래밍 방식으로 프롬프트를 제출하고, 지니 UI(사용자 인터페이스)에서와 동일한 인사이트를 얻을 수 있다. 뿐만 아니라, API는 상태를 유지(Stateful)하므로 대화 스레드 내에서 여러 후속 질문에 걸쳐 대화의 문맥을 유지할 수 있다.
휴먼 인 더 루프(인간개입) 워크플로우 간소화: 업그레이드된 에이전트 평가 리뷰 앱(Agent Evaluation Review App)은 도메인 전문가가 AI 에이전트의 성능을 보다 손쉽게 평가하고, 맞춤형 피드백을 제공하며, 라벨링을 위해 추적을 보내고, 평가 기준을 사용자 맞춤화 할 수 있도록 지원한다. 전문가는 엑셀 스프레드시트나 별도의 맞춤형 애플리케이션 없이도 체계적인 피드백을 효율적으로 수집할 수 있어, AI 성능을 지속적으로 개선하고 정확도를 체계적으로 향상시키는데 기여한다. 특히, 실제 운영 환경에서 AI 에이전트의 성능을 평가하는 데 소요되는 많은 시간과 노력을 줄여준다.
프로비저닝 없는 배치 추론: 고품질 AI 에이전트를 구축하기 위해서는 모델 선택, 거버넌스, 평가가 필수적이지만, 기술을 원활하게 확산하기 위해서는 사용 경험을 단순화하는 것도 중요하다. 이번에 새롭게 추가된 기능을 통해 모자이크 AI(Mosaic AI)에서 단일 SQL 쿼리만으로 배치 추론을 실행할 수 있으며, 별도의 인프라 설정없이도 비정형 데이터를 원활하게 통합할 수 있다.
이안 카듀(Ian Cadieu) 알타나(Altana) CTO는 “배치 AI와 AI 함수는 우리의 AI 워크플로우를 간소화한다. 이를 통해 인프라 관리 없이 간단한 SQL 쿼리로 대규모 AI 추론을 통합할 수 있게 되었다. 이는 데이터 파이프라인에 직접 통합되어 비용을 절감하고 구성 부담을 줄여준다. 해당 솔루션을 도입한 이후, 전통적인 ETL과 데이터 파이프라이닝을 AI 추론 워크로드와 결합할 때 개발 속도가 획기적으로 향상되었다”고 말했다.
크레이그 와일리(Craig Wiley) 데이터브릭스 AI/ML 제품 담당 수석 디렉터는 “여전히 많은 기업이 AI 에이전트를 고부가가치 활용 사례에 도입하는 데 어려움을 겪고 있다. 이는 정확성, 거버넌스, 보안에 대한 우려 때문이다. 이러한 기업에게 가장 큰 장애물은 기술 자체가 아니라, AI를 신뢰할 수 있는지에 대한 확신이다”라며, “이번에 새롭게 발표된 도구들은 이러한 문제를 정면돌파함으로써, 기업이 시범 단계를 넘어 신뢰할 수 있는 AI 에이전트를 본격적인 운영 환경에 도입할 수 있도록 지원할 것”이라고 말했다.
현재 모자이크 AI 게이트웨이, 지니 대화형 API 스위트, 에이전트 평가 리뷰 앱, 배치 AI는 퍼블릭 프리뷰(Public Preview) 버전으로 제공되고 있다.
Databricks Unveils New Tools for Building Scalable and Reliable AI Agents
– Strengthened governance, monitoring, and expansion capabilities to support more stable deployment of AI agents for enterprises
Data and AI company Databricks has unveiled new tools to help enterprises move AI agents beyond pilot phases and into large-scale operational environments, with the aim of helping enterprises more confidently and effectively leverage AI for high-value use cases.
Today, 85% of enterprises worldwide are using generative AI, but even the most advanced models struggle to deliver business-specific, systematic results due to a lack of understanding of enterprise-specific data. The new tools announced today are designed to help enterprises deploy AI agents into high-value, business-critical applications, while ensuring accuracy, governance, and ease of use. Key features include:
Centralized governance for AI models: Supports managing all AI models (open source and commercial models) in one place, and enables leveraging custom large-scale language model (LLM) providers through the Mosaic AI Gateway, providing consistent governance, monitoring, and integration capabilities across models.
Easy Integration with Existing Application Workflows : The AI/BI Genie conversational API suite enables developers to integrate natural language-based chatbots directly into custom applications or popular productivity tools like Microsoft Teams, SharePoint, and Slack. Additionally, the Genie API allows users to programmatically submit prompts and get the same insights as they would in the Genie UI. Additionally, the API is stateful, so it can maintain the context of a conversation across multiple follow-up questions within a conversation thread.
Streamlining Human-in-the-Loop Workflows: The upgraded Agent Evaluation Review App enables domain experts to more easily evaluate the performance of AI agents, provide customized feedback, send traces for labeling, and customize evaluation criteria. Experts can efficiently collect systematic feedback without Excel spreadsheets or separate customized applications, contributing to continuous improvement of AI performance and systematic improvement of accuracy. In particular, it reduces the significant time and effort required to evaluate the performance of AI agents in real-world operating environments.
Batch Inference Without Provisioning : Model selection, governance, and evaluation are essential for building high-quality AI agents, but simplifying the user experience is also important for smooth technology proliferation. The newly added capabilities enable batch inference with a single SQL query in Mosaic AI, and seamlessly integrate unstructured data without separate infrastructure setup.
“Batch AI and AI functions simplify our AI workflows. They enable us to integrate large-scale AI inference with simple SQL queries without managing infrastructure. They integrate directly into our data pipeline, reducing costs and reducing configuration overhead. Since implementing the solution, we have seen a dramatic increase in development velocity when combining traditional ETL and data pipelining with AI inference workloads,” said Ian Cadieu, CTO of Altana.
“Many enterprises still struggle to deploy AI agents for high-value use cases due to concerns about accuracy, governance, and security,” said Craig Wiley, senior director of AI/ML products at Databricks. “For these enterprises, the biggest obstacle isn’t the technology itself, but rather their confidence in whether they can trust AI.” “These new tools tackle this problem head-on, enabling enterprises to move beyond pilots to deploying trusted AI agents in full-scale production environments.”
Currently, Mosaic AI Gateway, Genie Conversational API Suite, Agent Rating Review App, and Batch AI are available in Public Preview versions.
データブリックス、スケーラビリティ、信頼性を備えたAIエージェントを構築するための新しいツールを公開
-ガバナンス、モニタリング、拡張機能の強化により、企業のAIエージェント導入をより安定的にサポート
データとAI企業Databricksは、企業がAIエージェントをパイロット段階を超えて大規模な運用環境にうまく導入できるようにするための新しいツールを公開しました。これにより、企業が高付加価値活用事例でAIをより信頼し、効果的に活用できるように支援するという方針だ。
現在、世界中の企業の85％が生成型AIを使用していますが、最も進化したモデルも企業固有のデータに対する理解不足のため、ビジネスに特化した体系的な結果を提供することに苦労しています。今回発表された新規ツールは、企業がAIエージェントをビジネスに不可欠な高付加価値アプリケーションに導入できるように支援し、正確性とガバナンスを保証し、使いやすさを高めることに焦点を当てている。主な機能は次のとおりです。
AIモデルの集中型ガバナンス：すべてのAIモデル（オープンソースおよび商用モデル）を1か所で管理できるようにサポートし、モザイクAIゲートウェイ（Mosaic AI Gateway）を通じてカスタマイズされた大規模言語モデル（LLM）プロバイダーを活用できます。これにより、モデル全体で一貫したガバナンス、監視、統合機能が提供されます。
既存のアプリケーションワークフローとの簡単な統合：AI / BI GenieインタラクティブAPIスイート（スイート、スイート）は、開発者が自然言語ベースのチャットボットをカスタムアプリケーションやMicrosoft Teams、SharePoint、Slackなどの人気のある生産性ツールに直接統合できるようにします。さらに、Genie API（Genie API）を使用すると、ユーザーはプログラムでプロンプトを送信し、Genie UI（ユーザーインターフェース）と同じ洞察を得ることができます。さらに、APIは状態を維持するため、会話スレッド内のいくつかの後続の質問にわたって会話のコンテキストを維持できます。
ヒューマン・イン・ザ・ループ（人間介入）ワークフローの合理化：アップグレードされたエージェント評価レビューアプリ（Agent Evaluation Review App）は、ドメインエキスパートがAIエージェントのパフォーマンスをより簡単に評価し、カスタマイズされたフィードバックを提供し、ラベリングのために追跡を送信し、評価基準をカスタマイズするのに役立ちます。エキスパートは、Excelスプレッドシートや個別のカスタマイズされたアプリケーションなしで体系的なフィードバックを効率的に収集することができ、AIパフォーマンスを継続的に改善し、精度を体系的に向上させることに貢献します。特に、実際の運用環境でAIエージェントのパフォーマンスを評価するのにかかる時間と労力を減らします。
プロビジョニングなしの配置推論：高品質のAIエージェントを構築するためには、モデルの選択、ガバナンス、評価が不可欠ですが、技術をスムーズに広げるためには使用経験を簡素化することも重要です。今回新たに追加された機能により、モザイクAI（Mosaic AI）で単一のSQLクエリだけでバッチ推論を実行することができ、別途のインフラストラクチャ設定なしで非整形データをシームレスに統合することができる。
Ian Cadieu（Altana）CTOは、「バッチAIとAI機能は、私たちのAIワークフローを簡素化します。すると開発速度が劇的に向上した」と述べた。
クレイグ・ワイリー（Craig Wiley）データブリックスAI/ML製品担当シニアディレクターは、「依然として多くの企業がAIエージェントを高付加価値活用事例に導入するのに困難を経験している。問題を正面突破することで、企業がパイロット段階を超えて信頼できるAIエージェントを本格的な運用環境に導入できるように支援するだろう」と述べた。
現在、モザイクAIゲートウェイ、ジニーインタラクティブAPIスイート、エージェント評価レビューアプリ、バッチAIはパブリックプレビュー版で提供されている。
Databricks 推出用于构建可扩展且可靠的 AI 代理的新工具
– 加强治理、监控和扩展能力，支持企业更稳定地部署AI代理
数据和人工智能公司Databricks推出了新工具，帮助企业成功地将人工智能代理从试点阶段部署到大规模运营环境中。目标是帮助企业在高附加值用例中更可靠、更有效地使用人工智能。
目前，全球 85% 的企业都在使用生成式人工智能，但由于缺乏对业务特定数据的了解，即使是最先进的模型也难以提供针对业务的系统性结果。今天宣布的新工具旨在帮助企业将人工智能代理部署到高价值、关键业务的应用程序中，重点确保准确性、治理和易用性。主要特点如下：
AI模型的集中治理：支持在一个地方管理所有 AI 模型（开源和商业模型），并通过 Mosaic AI Gateway 利用自定义的大规模语言模型 (LLM) 提供程序。这提供了跨模型的一致的治理、监控和集成功能。
轻松与现有应用程序工作流程集成：AI/BI Genie 对话 API 套件使开发人员能够将基于自然语言的聊天机器人直接集成到自定义应用程序或流行的生产力工具（如 Microsoft Teams、SharePoint 和 Slack）中。此外，Genie API 允许用户以编程方式提交提示并获得与 Genie UI（用户界面）相同的见解。此外，该 API 是有状态的，允许它维护对话线程中多个后续问题的对话上下文。
简化人机交互工作流程：升级后的代理评估审查应用程序使领域专家能够更轻松地评估 AI 代理的性能，提供个性化反馈，发送标记跟踪并自定义评估标准。专家无需使用 Excel 电子表格或单独的自定义应用程序即可高效收集系统反馈，从而有助于持续改进 AI 性能并系统地提高准确性。特别是，它减少了在现实操作环境中评估人工智能代理的性能所需的大量时间和精力。
无需配置的批量推理：模型选择、治理和评估对于构建高质量的 AI 代理至关重要，但简化用户体验对于技术的顺利普及也很重要。此新增功能支持使用 Mosaic AI 中的单个 SQL 查询进行批量推理，并无缝集成非结构化数据，无需单独设置基础设施。
Altana 首席技术官 Ian Cadieu 表示：“批处理 AI 和 AI 功能简化了我们的 AI 工作流程。它们使我们能够将大规模 AI 推理与简单的 SQL 查询集成在一起，而无需管理基础设施。它们直接集成到我们的数据管道中，从而降低了成本并减少了配置开销。自实施该解决方案以来，我们在将传统 ETL 和数据管道与 AI 推理工作负载相结合时，已经看到开发速度的大幅提升。”
Databricks 的 AI/ML 产品高级总监 Craig Wiley 表示：“由于对准确性、管理和安全性的担忧，许多企业仍然难以为高价值用例部署 AI 代理。对于这些企业来说，最大的障碍不是技术本身，而是他们对是否可以信任 AI 的信心。”“这些新工具正面解决了这个问题，使企业能够超越试点阶段，在全面生产环境中部署值得信赖的 AI 代理。”
目前，Mosaic AI Gateway、Genie Conversational API Suite、Agent Rating Review App 和 Batch AI 均已提供公共预览版。
Databricks dévoile de nouveaux outils pour créer des agents d'IA évolutifs et fiables
– Capacités renforcées de gouvernance, de surveillance et d'expansion pour soutenir un déploiement plus stable des agents d'IA pour les entreprises
Databricks , société de données et d'IA, a dévoilé de nouveaux outils pour aider les entreprises à déployer avec succès des agents d'IA au-delà des phases pilotes dans des environnements opérationnels à grande échelle. L’objectif est d’aider les entreprises à utiliser l’IA de manière plus fiable et plus efficace dans des cas d’utilisation à forte valeur ajoutée.
Actuellement, 85 % des entreprises dans le monde utilisent l’IA générative, mais même les modèles les plus avancés peinent à fournir des résultats systématiques et spécifiques à l’entreprise en raison d’un manque de compréhension des données spécifiques à l’entreprise. Les nouveaux outils annoncés aujourd'hui sont conçus pour aider les entreprises à déployer des agents d'IA dans des applications critiques à forte valeur ajoutée, en mettant l'accent sur la garantie de précision, de gouvernance et de facilité d'utilisation. Les principales caractéristiques sont les suivantes :
Gouvernance centralisée pour les modèles d'IA : prend en charge la gestion de tous les modèles d'IA (modèles open source et commerciaux) en un seul endroit et permet de tirer parti des fournisseurs de modèles de langage à grande échelle (LLM) personnalisés via Mosaic AI Gateway. Cela fournit des capacités de gouvernance, de surveillance et d’intégration cohérentes entre les modèles.
Intégration facile avec les flux de travail d'application existants : la suite d'API conversationnelles AI/BI Genie permet aux développeurs d'intégrer des chatbots basés sur le langage naturel directement dans des applications personnalisées ou des outils de productivité populaires tels que Microsoft Teams, SharePoint et Slack. De plus, l'API Genie permet aux utilisateurs de soumettre des invites par programmation et d'obtenir les mêmes informations que dans l'interface utilisateur Genie. De plus, l'API est avec état, ce qui lui permet de conserver le contexte d'une conversation sur plusieurs questions de suivi au sein d'un fil de conversation.
Rationalisation des flux de travail impliquant l'humain : l'application Agent Evaluation Review améliorée permet aux experts du domaine d'évaluer plus facilement les performances des agents IA, de fournir des commentaires personnalisés, d'envoyer des traces pour l'étiquetage et de personnaliser les critères d'évaluation. Les experts peuvent collecter efficacement des commentaires systématiques sans feuilles de calcul Excel ni applications personnalisées distinctes, contribuant ainsi à l'amélioration continue des performances de l'IA et à l'amélioration systématique de la précision. En particulier, cela réduit le temps et les efforts considérables nécessaires pour évaluer les performances des agents d’IA dans des environnements d’exploitation réels.
Inférence par lots sans provisionnement : la sélection, la gouvernance et l'évaluation des modèles sont essentielles pour créer des agents d'IA de haute qualité, mais la simplification de l'expérience utilisateur est également importante pour une prolifération technologique fluide. Cette fonctionnalité nouvellement ajoutée permet l'inférence par lots avec une seule requête SQL dans Mosaic AI et intègre de manière transparente des données non structurées sans configuration d'infrastructure distincte.
« L'IA par lots et les fonctions d'IA simplifient nos workflows d'IA. Elles nous permettent d'intégrer l'inférence IA à grande échelle à des requêtes SQL simples sans gérer d'infrastructure. Elles s'intègrent directement à notre pipeline de données, réduisant ainsi les coûts et les frais de configuration. Depuis la mise en œuvre de la solution, nous avons constaté une augmentation spectaculaire de la vitesse de développement en combinant l'ETL traditionnel et le pipeline de données avec des charges de travail d'inférence IA », a déclaré Ian Cadieu, CTO d'Altana.
« De nombreuses entreprises peinent encore à déployer des agents d'IA pour des cas d'usage à forte valeur ajoutée, en raison de préoccupations liées à la précision, à la gouvernance et à la sécurité », a déclaré Craig Wiley, directeur principal des produits IA/ML chez Databricks. « Pour ces entreprises, le principal obstacle n'est pas la technologie elle-même, mais plutôt leur confiance dans l'IA. » « Ces nouveaux outils s'attaquent à ce problème de front, permettant aux entreprises de dépasser les phases pilotes pour déployer des agents d'IA de confiance dans des environnements de production à grande échelle. »
Actuellement, Mosaic AI Gateway, Genie Conversational API Suite, Agent Rating Review App et Batch AI sont disponibles en versions d'aperçu public.
You must be logged in to post a comment.