リード・ホフマン氏ら率いるInflection AI、チャットボット「Pi」の新版をローンチ——性能は「GPT-4」相当

DeepMind の共同設立者である Mustafa Suleyman（ムスタファ・スレイマン）氏と LinkedIn の共同設立者である Reid Hoffman（リード・ホフマン）氏が設立したパロアルトを拠点とするスタートアップ、Inflection AI は7日、Inflection-2.5と呼ばれる新しい基盤モデルを発表した。

これまでの研究を基に開発された Inflection-2.5は、同社のオリジナルの Inflection-1を大幅に上回り、特に STEM 科目においては OpenAI の GPT-4モデルにほぼ匹敵する。Inflection-2.5は現在、ChatGPT と Gemini に対抗するために設計された同社の Pi アシスタントを駆動しており、モバイルと web 経由でテストすることができる。

この動きは、人類のための AI 開発へのアプローチを明確にし続ける OpenAI の支配に対抗する、急速に進化する AI 分野における最新の取り組みである。つい最近、Anthropic は GPT-4を打ち負かした最初のモデルとなる Claude 3 Opus をリリースした。

性能は向上したが、GPT-4にはまだ及ばない

Inflection AI は創業以来、GPT シリーズを含む他のモデルよりも個人的かつ口語的に行動する「共感的で、有用で、安全な」AI を構築してきた。同社は、Pi の背後にあるモデルに特徴的な個性と卓越した EQ（感情指数）を与えるために、独自の共感的微調整を使用した。

2023年6月に13億米ドルのラウンドを調達したスタートアップは、バージョンアップした Inflection 2.5の導入により、物理学や数学などの分野をカバーする IQ の側面を強化している。同社は本日発表したブログ記事で、Inflection 2.5に支えられた Pi と会話するユーザは、趣味の話からコーディング、生物学の論文の答え合わせ、ビジネスプランの立案まで、様々なトピックについて議論できると述べている。

Millions of users, billions of messages. Meet the new, upgraded Pi where helpful IQ blends with friendly EQ.

Now powered by our world class foundation model: Inflection-2.5 https://t.co/bws0K9G7Hl

— Mustafa Suleyman (@mustafasuleyman) March 7, 2024

ベンチマークのパフォーマンスでは、アップグレードモデルは全体的に Inflection 1より大幅に向上しており、GPT-4では僅差に迫っている。

例えば、MMLU ベンチマークでは、高校レベルからプロレベルまでの難易度のタスクのパフォーマンスを測定し、Inflection-2.5は85.5を獲得し、GPT-4の87.3に僅差で並んだ。同様に、STEM 試験においても、OpenAI モデルとほぼ同等の性能を発揮し、ハンガリーの数学試験では63点（GPT4は68点）、物理 GRE では GPT-4の97パーセンタイルに対して85パーセンタイルを記録した。

8.5K の質の高い小学校の算数問題からなる GSM8K ベンチマークでは、GPT-4の92点に対し、Inflection モデルは86.3点を獲得した。コード生成能力を評価するために設計された0ショット HumanEval では、GPT4の79.3に対し、73.8のスコアを記録した。

web 検索で効率的に学習されたモデル

性能は GPT 4を上回るものではないが、Inflection AI は、この「GPT-4レベルの94％の性能」は、OpenAI の大規模言語モデル（LLM）で行われた学習よりもはるかに効率的な学習で達成されたと指摘している。

同社によると、Inflection-2.5は GPT-4の40％のトレーニング FLOP（計算）でこの結果を得たという。

さらに、GPT-4と同様、このモデルにもリアルタイムの web 検索機能が組み込まれており、ユーザは時事問題の最新情報を得ることができる。同社が Pi アシスタントを万人向けの AI と位置付けていることを考えると、これは大きなアップグレードとなるだろう。ただし、web 検索はベンチマークに採用されていないため、検索結果の質は多少異なる可能性がある。