Got It AIは、エンタープライズアプリケーション向けにChatGPTが引き起こす“幻覚”を識別して対処するためのAIを開発したと発表した。

ChatGPTはプログラムからオリジナル曲まで、一般の人々がAIにさまざまなものを生成させることを可能にするジェネレーティブAIの威力を示すことでテクノロジー業界を席巻した。

その中には目を見張るような創作物も存在する。しかし、ChatGPTの悪いところはエラー率だ。会話型AIのスタートアップであるGot It AIの共同創設者であるPeter Relan氏は、本誌VentureBeatとのインタビューで、企業のナレッジベース会話型AIのチャットボットは、15%～20%の確率で間違うわけにはいかないと述べた。ちなみにChatGPTでは簡単なプロンプトを実行することで、エラー率を非常に簡単に見けることができる。

Relan氏は、こうしたChatGPTの間違った回答を「幻覚」と呼ぶ。彼の会社では大量の記事やナレッジベースのコンテンツからの質問への回答に関して、ChatGPTが「幻覚」（でっち上げられた回答を生成すること）を識別するための「truth checker」を考案した。

この技術革新により、ユーザーや従業員に事実と異なる回答を提供するリスクなしに、ChatGPTを展開できるようになったという。企業はChatGPTとtruth checkerを組み合わせて使用することで、カスタマーサポートや社内ナレッジベースの問い合わせなど、広範なナレッジベースを活用する会話型AIを自信を持って導入できるとRelan氏は言う。

この自律型真偽判定AIは、対象となるコンテンツのドメイン（大規模な知識ベースや論文集など）が与えられると、Large Language Model（LLM）ベースの高度なAIシステムを用いて、真偽判定というひとつのタスクに特化して、人間の介入なしに自律的に学習する。

ChatGPTは同じ領域のコンテンツが提供されると、その後複数回にわたるチャット対話で質問に答えることができる。各回答はユーザーに提示される前に真実であるかどうかが評価される。幻覚が検出された場合はその回答はユーザーに提示されず、代わりにその回答を含む関連記事への参照が提供されるとRelan氏は言う。

Alexa Prizeの元チームリーダーでGot It AIの共同創業者であるChandra Khatri氏は以下のように語る。

「相互参照、コンテキスト、トピックの切り替えなどの複雑な言語構造を持つマルチターン会話を使用して、複数の異なるナレッジベースの1,000以上の記事のデータセットで我々のテクノロジーをテストしました。ChatGPTのLLMは、クエリの約20%に対して誤った応答を生成しました。一方で自律型真偽判定AIは、不正確な回答の90%を検出できました。また、我々は真偽判定AIへのシンプルなユーザーインターフェイスを顧客に提供し、AIをさらに最適化して残りの不正確さを特定し、事実上すべての不正確な応答を排除しています」。

ただ、これは複数のtruth checkerが必要になる可能性があることを示唆している。

つづき：Got It AIがChatGPT嘘を見抜く方法（２）

【via VentureBeat】 @VentureBeat

【原文】