Datadog、ジェネレーティブAIアシスタント「Bits」とLLMモニタリングソリューションをローンチ

ニューヨークを拠点とする Datadog は3日、エンタープライズアプリケーションとインフラストラクチャのクラウドモニタリング機能を提供し、新機能を備えたコアプラットフォームを拡張した。

同社は年次カンファレンス「DASH」で、エンジニアがアプリケーションの問題をリアルタイムで解決するための斬新なジェネレーティブ AI アシスタント「Bits」と、大規模言語モデル（LLM）の動作を監視するエンドツーエンドのソリューションを発表した。

特に新しい AI アシスタントは、企業チームの可観測性を向上することを目的としている。しかし、まだ一般には利用できない。Datadog は、限られた数の顧客を対象にベータ版で機能をテストしており後日、一般的なアクセシビリティに対応させる予定だ。

問題の検出と修復を支援する新しい方法

アプリケーションとインフラストラクチャのモニタリングでは、問題の検出とトリアージから修復と予防に至るまで、多くの困難な作業をこなさなければならない。観測可能なツールをループに入れたとしても、このプロセスでは、異種システムからの膨大な量のデータ、文書、会話に目を通す必要がある。これには数時間、時には数日かかることさえある。

Datadog は、新しい Bits AIによって、自然言語コマンドに応答しながらエンドツーエンドのインシデント管理を支援するヘルパーをチームに提供することで、この課題に取り組んでいる。同社のプラットフォーム内のチャットからアクセス可能な Bits は、ログ、メトリクス、トレース、実際のユーザトランザクションから、Confluence ページ、社内文書、Slack の会話といった組織的な知識の情報源まで、顧客のデータから学習し、その情報を使用して、トラブルシューティングや改善ステップを会話形式で行いながら、問題に関する回答を迅速に提供する。

これは最終的にユーザのワークフローを改善し、目の前の問題を解決するのに必要な時間を短縮する。

Datadog の製品担当副社長 Michael Gerstenhaber 氏は、VentureBeat の取材に対して次のように語った。

LLM は、自然言語の解釈や生成は得意だが、時系列データの分析などは苦手で、コンテキストウィンドウによって制限されることが多いです。Bits AI は、特定の技術を使用するのではなく、当社が長年投資してきた統計分析と機械学習（ML）を LLM モデルと連携させることで、データの分析、システムの動作予測、分析の解釈、レスポンスの生成を行います。

Datadog は OpenAI のLLMを使って Bits の機能を強化している。アシスタントは、Slack でオンコールチームを編成し、自動化されたステータスアップデートですべての利害関係者に情報を提供することで、対応を調整することができる。また、問題がコードレベルにある場合、数回のクリックで適用可能なコード修正案と、その修正を検証するためのユニットテストとともに、エラーの簡潔な説明を提供する。

注目すべきは、Datadog の競合 New Relic も同様の AI アシスタント「Grok」をデビューさせたことだ。こちらもシンプルなチャットインターフェースを使い、チームがソフトウェアの問題を監視し、修正することなどを支援する。

LLM の可観測性を向上するツール

Bits AI とともに、Datadog は LLM 観測可能性のためのエンドツーエンドソリューションでプラットフォームを拡張した。このソリューションは、ジェネレーティブ AI アプリケーション、モデル、さまざまな連携からのデータをつなぎ合わせ、エンジニアが問題を迅速に検出し解決できるようにする。

同社の説明によれば、このツールはモデルの使用状況、コスト、API のパフォーマンスを監視し、警告を発することができる。さらに、モデルの挙動を分析し、プロンプトやレスポンスの長さ、API のレイテンシー、トークン数などのさまざまなデータ特性に基づいて、幻覚やドリフトのインスタンスを検出することができる。

Gerstenhaber 氏は、LLM 可観測性を利用している企業の数については明言を避けたが、このサービスによって、通常はアプリ開発者と ML エンジニアという2つの別々のチームが1つにまとまることに言及した。これにより、レイテンシーの遅延、コストの急上昇、モデルのパフォーマンス低下など、運用とモデルのパフォーマンスに関する問題について協力することができる。

しかし、ここでも競合は存在する。New Relic と Arize AI は同じ方向で取り組んでおり、LLM の実行と保守を容易にすることを目的とした連携やツールを発表している。

今後、企業内での LLM の急成長を考えると、このようなモニタリングソリューションは需要が高まると予想される。ほとんどの企業は、データスタックのクエリや顧客サービスの最適化など、主要なビジネス機能を加速させるために、ツール（OpenAI のものが最も顕著）の使用を開始しているか、または使用を計画している。

【via VentureBeat】 @VentureBeat

【原文】