生成 AI の需要が高まり続ける中、その安全で信頼性の高い展開に対する懸念が以前にも増して高まっている。企業は、内部または外部で使用するために開発されている大規模言語モデル（LLM）アプリケーションが、未知の領域に踏み込むことなく、最高品質の出力を提供することを望んでいるのだ。

これらの懸念を認識した Microsoft は3月28日、開発者が生成 AI に非常によく見られる自動的な幻覚の問題だけでなく、モデルが個人的または有害なコンテンツを生成するように騙されるプロンプトインジェクションなどのセキュリティ脆弱性にも対処できるようにする新しい Azure AI ツールの提供開始を発表した。Microsoft 自身の AI 画像作成ツールから生成された Taylor Swift （テイラー・スウィフト）氏のディープフェイクのようなものだ。

これらのオファリングは現在プレビュー中であり、今後数ヶ月以内に広く利用可能になる予定だ。ただし、Microsoft はまだ具体的なタイムラインを共有していない。

Microsoft が提供する新しいツール

LLM の台頭に伴い、プロンプトインジェクション攻撃が目立つようになった。本質的に、攻撃者はモデルの入力プロンプトを変更して、安全性管理を含むモデルの通常の動作をバイパスし、個人的または有害なコンテンツを明らかにするように操作し、セキュリティやプライバシーを損なうことができるのだ。これらの攻撃は、攻撃者が LLM と直接やり取りする直接的な方法と、悪意のあるウェブページなどのサードパーティのデータソースを使用する間接的な方法の2つの方法で実行できる。

これらのプロンプトインジェクションの両方の形態を修正するために、Microsoft は Azure AI に Prompt Shields を追加している。これは、高度な機械学習（ML）アルゴリズムと自然言語処理を使用して、悪意のあるプロンプトとサードパーティデータを自動的に分析し、モデルに到達するのをブロックする包括的な機能だ。

これは、Microsoft の3つの AI 製品——Azure OpenAI Service、Azure AI Content Safety、Azure AI Studio——と連携される予定だ。

しかし、それ以上のものがある。

Microsoft は、安全性とセキュリティを脅かすプロンプトインジェクション攻撃をブロックするだけでなく、生成 AI アプリの信頼性に焦点を当てるツールも導入した。これには、安全性を中心としたシステムメッセージの事前構築済みテンプレートと、「Groundedness Detection」と呼ばれる新機能が含まれる。

前者は、Microsoft が説明しているように、開発者が安全で責任のある、データに基づいた出力に向けてモデルの動作を導くシステムメッセージを構築できるようにするものだ。後者は、微調整されたカスタム言語モデルを使用して、モデルによって生成されたテキスト出力の幻覚や不正確な情報を検出するものだ。どちらも Azure AI Studio と Azure OpenAI Service に搭載される予定だ。

注目すべきは、根拠のある情報を検出するための指標には、生成 AI アプリをリスクと安全性についてストレステストするための自動評価も伴うことだ。これらの指標は、アプリがジェイルブレイクされ、あらゆる種類の不適切なコンテンツを生成する可能性を測定する。評価には、問題に対する適切な緩和策を構築する方法を開発者に案内する自然言語の説明も含まれる。

Microsoft の Responsible AI 担当最高製品責任者 Sarah Bird 氏は、ブログ記事で次のように指摘している。

今日、多くの組織は、ジェイルブレイク攻撃などの新たなリスクや新興のリスクを反映した高品質のテストデータセットを構築することが難しいため、生成 AI アプリケーションをストレステストし、自信を持ってプロトタイプから本番環境に移行するためのリソースが不足しています。高品質のデータがあっても、評価は複雑で手動のプロセスになる可能性があり、開発チームは効果的な緩和策を知らせるために結果を解釈するのが難しいと感じるかもしれません。

本番環境での監視の強化

最後に、アプリケーションが本番環境に移行した場合、Microsoft はリアルタイムの監視を提供し、開発者が Prompt Shields などの安全機能をトリガーしている入力と出力を詳しく監視できるようにする。Azure OpenAI Service と AI Studio に搭載されるこの機能は、ブロックされたユーザー入力やモデル出力の量と割合、および重大度やカテゴリ別の内訳を強調する詳細な視覚化を生成する。

この可視性のレベルを利用することで、開発者は時間の経過とともに有害なリクエストの傾向を理解し、セーフティの向上のためにコンテンツフィルターの構成、管理、およびより広範なアプリケーション設計を調整できるようになる。

Microsoft は、かなり以前から AI 製品の強化に取り組んでいる。同社は OpenAI のモデルから始めたが、最近では Mistral のものを含む他の製品にも拡大している。つい最近、Mustafa Suleyman (ムスタファ・スレイマン) 氏と Inflection AI のチームを雇用したのは、Sam Altman (サム・アルトマン) 氏が率いる研究所への依存度を減らすためのアプローチのように見えた。

今回、これらの新しい安全性と信頼性のツールを追加することで、同社がこれまでに行ってきた取り組みが強化され、開発者は同社が提供するモデルの上に生成 AI アプリケーションをより良い、より安全な方法で構築できるようになる。さらに、安全性と信頼性に重点を置くことで、信頼できる AI を構築するという同社のコミットメントが強調される。これは企業にとって重要であり、最終的により多くの顧客を獲得するのに役立つだろう。

【via VentureBeat】 @VentureBeat

【原文】