会話型 AI スタートアップ Got It AI は、対話型チャットボット向けの Q&A アプリケーションに対応し、あらゆる知識ベースと統合可能なエンタープライズ向けの大規模言語モデル（LLM）である最新技術「ELMAR（Enterprise Language Model ARchitecture）」を発表した。ELMAR は GPT-3 に比べて格段に小さいため、オンプレミスで実行可能であり、企業顧客にとってコスト効果の高いソリューションとなるとされる。

また、Facebook Research の LLaMA やスタンフォード大学の Alpaca とは独立しており、大規模言語モデルの商業的可能性が高まる。

ELMAR は、私たちのパイプラインにある企業顧客から、自分たちのデータを構内から出したくないという声を受け考案された。

それゆえ、私たちはオンプレミスで実行可能な商業的に実現可能な小型モデルを構築しようとしましたが、主要な企業のユースケースにおいて、既存の大規模言語モデルと同等の精度を実現できると語りました。（Got It AI 会長 Peter Relan 氏）

ELMAR には、回答に関する真実の確認と、ユーザの誤った回答率のリスクを軽減するための後処理も含まれている。現在利用可能な LLM と比較して、ELMAR に求められるハードウェアは安価で、パイロット契約を結ぶことができる企業のベータテスターにとって、より利用しやすい選択肢となっている。

＜関連記事＞

• ChatGPTの「嘘」を見抜く真実チェッカーのGot It AI、法人向けAI利用に活路（１）
• Got It AIがChatGPTの嘘を見抜く方法（２）

テック大手の LLM と肩を並べる

Got It AI は、ELMAR が言語モデルの搭載を目指す企業にとって、いくつかの利点を提供すると主張している。まず、ELMAR はサイズが小さいため、OpenAI の GPT-4 に必要なハードウェアに比べ、運用に必要なハードウェアが大幅に安価になる。さらに、ELMAR はターゲットとなるデータセット上で微調整が可能であり、高価な API ベースのモデルが不要となり、推論コストの高騰を防ぐことができる。

非常に強力なモデルが必要ないと言っているわけではない。企業の主なユースケースや要件によっては、すべての力が必要でないと言っているのだ。（Relan 氏）

言語モデルの精度に関する議論を進めるため、Got It AI はハルシネーション率（AI がウソを言う確率）を測定する研究で、ELMAR を OpenAI の ChatGPT、GPT-3、GPT-4、GPT-J／Dolly、Meta の LLaMA 、スタンフォード大学の Alpaca と比較している。この研究では、現在ベータテスター向けに提供されている100項目のテストセットにおいて、小型であるが微調整された大規模言語モデルが、対話ベースのユースケースでいかに優れた性能を発揮できるかが実証された。

最近、GPT-J のような小型で古いモデルでも ChatGPT のような体験を提供できることが示唆されている。しかし、我々の実験では、そのようなことはなかった。微調整をしたにもかかわらず、そのようなモデルは、他のより高度なモデルよりも著しく劣るパフォーマンスを示した。データだけでなく、最新のモデルアーキテクチャやトレーニング技術も重要だ。（Got It AI の会話 AI 研究責任者で 共同設立者の Chandra Khatri 氏）

同社は1月初め、小型言語モデルベースの微調整ポストプロセッサ「TruthChecker」を開発した。これは、あらゆる言語モデルによって生成された応答をターゲットデータセットのグランドトゥルース（AI モデルの出力の学習やテストに使用される実際のデータ）と比較し、不正確、誤解を招く、不完全な回答と思われるものにフラグを立てる。ハルシネーションとして知られる現象である。

Got It AI の研究により、小規模なオープンソースの大規模言語モデルは、ターゲットデータセットで微調整を行わない限り、特定のタスクでは性能が低いことが明らかになった。

オープンソースモデル「Alpaca」を、ターゲットである100記事の Q&A タスクに使用したところ、回答のかなりの割合が不正解またはハルシネーションという結果になったが、微調整を行うと、より良くなった。一方、ELMAR は同じデータセットで微調整を行ったところ、ChatGPT-3 と同等の正確な結果を得ることができた。（Khatri 氏）

ELMAR のモデル、トレーニング、データが、LLaMA や Alpaca のようなモデルやデータのライセンスに制約されないようなアプローチを選んだ。簡単なことではなかった。針に糸を通すように、商業化可能なモデル、トレーニング技術、データの正しい組み合わせを見つけなければならなかった。（Relan 氏）

LLM の制御を強化し、ビジネスに貢献

Got It AI の言語モデルである ELMAR は、企業がプリプロセッサを設定し、言語モデルアーキテクチャを攻撃から保護するための対策を計画することができる。

プリプロセッサは、企業によって調整、設定、制御される。つまり、企業ユーザは、個人を特定できる情報（PII）などのデータを削除するためのポリシーを設定でき。（Relan氏）

ELMAR モデルは、Zendesk や Confluence などの複数のナレッジベースや、大きなサイズの PDF 文書に対して試行錯誤が行われた。

アルファ版のフィードバックが成功した後、Got It AI は、複数の業界に対して、企業パイロットによる ELMAR のベータプログラムをまもなく開始し、すべての業界で機能する前処理と後処理の「調整タイプ」と、「業界または企業特化タイプ」についてのフィードバックを受ける予定だ。

同社は、ELMAR のスピード、精度、トレーニングの費用対効果を向上させることを目指しており、ベータ版サイクル終了後にはモデルの規模を拡大する予定であると、Relan 氏は述べている。

【via VentureBeat】 @VentureBeat

【原文】