LLMのブラックボックス問題を〝機械論的解釈可能性〟で解決、Goodfireが700万米ドルをシード調達

生成 AI モデルの内部構造の観測可能性を高めるツールを開発するスタートアップ Goodfire は15日、Lightspeed Venture Partners がリードし、Menlo Ventures、South Park Commons、Work-Bench、Juniper Ventures、Mythos Ventures、Bluebirds Capital、および複数の著名なエンジェル投資家が参加したシードラウンドで700万ドルを調達したと発表した。

「ブラックボックス問題」への取り組み

大規模言語モデル（LLM）のような生成 AI モデルは、数千億ものパラメータや動作を制御する内部設定など、ますます複雑になるにつれ、不透明性も増している。

この「ブラックボックス」的な性質は、AI を安全かつ確実に導入しようとする開発者や企業にとって大きな課題となる。

2024年に McKinsey が実施した調査では、ビジネスリーダーの44％が、モデルの意図しない行動により、少なくとも1回はネガティブな結果を経験していることが明らかになり、この問題の緊急性が浮き彫りになった。

Goodfireは、「機械論的解釈可能性（mechanistic interpretability）」と呼ばれる新しいアプローチを活用することで、これらの課題に対処することを目指している。

この研究分野は、AI モデルがどのように推論し、意思決定を行うかを詳細なレベルで理解することに焦点を当てている。

モデルの振る舞いを編集？

Goodfire の製品は、AI モデルの動作を理解し、編集するための解釈可能性に基づくツールの使用を開拓している。Goodfire の CEO 兼共同設立者 Eric Ho 氏は、そのアプローチについて次のように説明する。

我々のツールは、生成 AI モデルのブラックボックスを壊し、モデルの出力の背後にある内部の意思決定プロセスを説明する、人間が解釈可能なインターフェイスを提供します。開発者は、モデルの内部メカニズムに直接アクセスし、モデルの意思決定プロセスを変更するために、異なる概念の重要性を変更することができます。

Ho 氏が説明するプロセスは、AI モデルに脳の手術を施すようなものだ。彼は3つの重要なステップを説明してくれた。

脳をマッピング …… 神経科学者が画像技術を使って人間の脳の中を見るように、我々は解釈可能性技術を使って、どのニューロンが異なるタスク、概念、意思決定に対応するかを理解します。
行動を可視化 …… 脳をマッピングした後、開発者がモデルの問題点を簡単に見つけられるようなインターフェイスを作成することで、脳のどの部分が問題行動の原因になっているかを理解するためのツールを提供します。
手術する …… この理解によって、ユーザはモデルに非常に正確な変更を加えることができます。神経外科医が特定の脳領域を注意深く操作するのと同じように、モデルの動作を修正するために特定の機能を削除したり、強化したりすることができます。そうすることで、ユーザはモデルの能力を向上させ、問題を取り除き、バグを修正することができる。

このレベルの洞察と制御は、高価な再トレーニングや試行錯誤のプロンプトエンジニアリングの必要性を減らし、AI 開発をより効率的で予測可能なものにする可能性がある。

ワールドクラスのチーム作り

Goodfire のチームには、AI の解釈可能性と新興企業のスケーリングの専門家が集まっている。

CEO Eric Ho 氏は、Goldman Sachs が支援したシリーズ B の AI リクルーティングスタートアップ RippleMatch を創業した経歴を持つ。
チーフサイエンティスト Tom McGrath 氏は、かつて DeepMind のシニアリサーチサイエンティストであり、同社の機械論的解釈可能性チームを設立した。
CTO Dan Balsam 氏は RippleMatch の創業エンジニアで、コアプラットフォームと機械学習チームを率いた。

元 OpenAI の解釈可能性研究の第一人者 Nick Cammarata 氏は、Goodfire の仕事の重要性を次のように強調した。