Anthropicが「Claude 3」公開、ベンチマークテストでOpen AI「GPT-4」やGoogle「Gemini Ultra」を上回る

SHARE:
Image credit: Claude

AI スタートアップ Anthropic は4日、インテリジェンス、スピード、コスト効率のバランスで企業顧客の多様なニーズに応えるよう設計された AI モデル「Claude 3」シリーズを発表した。ラインナップは、Opus、Sonnet、そして近日発売予定の Haiku の3モデルだ。

このラインナップの主役は Opus で、Anthropic は、市場で公開されている他のどの AI システムよりも能力が高く、ライバルの OpenAI や Google の主要モデルをも凌ぐと主張している。

Anthropic の共同設立者兼 CEO の Dario Amodei 氏は VentureBeat のインタビューで次のように語っている。

Opus は最も幅広いタスクに対応し、非常に優れたパフォーマンスを発揮します。

Amodei 氏は、Opus が GPT-4GPT-3.5Gemini Ultra のようなトップ AI モデルを幅広いベンチマークで上回っていると説明した。これには、数学的推論のための GSM-8k や専門家レベルの知識のための MMLU のようなアカデミックベンチマークでのリーダーボードのトップも含まれる。

Amodei 氏は、「AI は誰よりも優れたパフォーマンスを発揮し、いくつかのタスクでこれまでに見たことのないスコアを獲得するようです」と語った。

Credit: Anthropic

Anthropic や Google のような企業は、彼らの主要モデルの完全なパラメータを開示していないが、両社から報告されたベンチマーク結果は、Opus が GPT-4や Gemini のような主要な代替品とコア能力において一致するか、上回ることを示唆している。

これは、少なくとも紙の上では、市販の会話 AI に新たな高水準を確立するものだ。

高度な推論を必要とする複雑なタスクのために設計された Opus は、その優れたパフォーマンスで Anthropic のラインナップの中でも際立っている。

ミッドレンジでスピーディーなオプションも用意

ミッドレンジモデルである Sonnet は、フラッグシップモデルのような高価格帯でなくとも高いパフォーマンスを維持し、日常的なデータ分析やナレッジワークのための、より費用対効果の高いソリューションを企業に提供する。

一方、Haiku は迅速かつ経済的に設計されており、応答性とコストが重要な要素となる消費者向けチャットボットなどの用途に適している。

Amodei 氏は VentureBeat に対し、Haiku は「数カ月ではなく数週間」のうちに公に発表されるだろうと語った。

新たなビジュアル機能が新たなユースケースを生み出す

4日に発表された各モデルは画像入力をサポートしており、特に画像中のテキスト認識などの用途で需要の高い機能だ。

Anthropic の社長兼共同設立者 Daniela Amodei 氏は VentureBeat に対し、「我々は、企業側での需要が少ないため、出力モダリティにはあまり注力してきませんでした」と述べ、企業が最も求める機能に戦略的に注力していることを強調した。

さらに、Claude 3のモデルは、他の最先端モデルと同等の洗練されたコンピュータビジョン能力を示している。この新しいモダリティは、企業が画像、文書、図表から情報を抽出する必要のある使用ケースを開拓する。

Daniela 氏は次のように説明する。

多くの(顧客)データは、高度に非構造化されているか、ある種の視覚的フォーマットになっています。その情報を手作業でコピーし、生成 AI ツールと対話させるというプロセスだけでも、かなり面倒なのです。

法律サービス、財務分析、物流、品質保証のような分野は、現実世界のビジュアルやテキストを理解する AI システムから恩恵を受ける可能性がある。

AI におけるバイアスの綱渡り

Anthropic の発表は、Google の新しいチャットボット Gemini をめぐる論争の後に行われ、社会的バイアスを永続させないモデルをリリースする上でテック企業が直面する困難を浮き彫りにした。

先週、Gemini に歴史的な画像を生成させると、人種的な描写が過剰に修正されたような描写になることが判明した。例えば、バイキングやナチスの兵士の写真を要求すると、歴史的現実を反映しているとは考えにくい、人種的に多様なグループの画像が生成された。

Google はこれに対し、Gemini の画像生成機能を無効にし、多様性を高めようとして「的外れだった」と謝罪した。しかし、専門家によれば、この事態は AI におけるバイアスをめぐる絶え間ないバランス感覚を物語っているという。

AI は助けになるが完璧ではない

Dario Amodei 氏は VentureBeat とのインタビューで、AI モデルの舵取りの難しさを強調し、それを「不正確な科学」と呼んだ。彼は、同社にはモデルから生じる様々なリスクを評価し、軽減することに特化したチームがあると語った。

私たちの仮説は、AI 開発の最前線にいることが、AI 開発の軌道を社会にとってポジティブな結果に導く最も効果的な方法だということです。(Dario 氏)

しかし、Daniela Amodei 氏は、完全にバイアスのない AI は、現在の手法では実現不可能である可能性が高いことを認めた。

完全に中立的で生成的な AI ツールを作ることは、技術的にも不可能に近いと思います。(Daniela 氏)

Anthropic の戦略の一部は、モデルを「憲法」で定義された原則に従うように調整する、「Constitutional AI」と呼ばれるアプローチである。しかし、Dario Amodei 氏は、この手法でさえ完璧ではないことを認めている。

私たちはモデルが公正で、イデオロギー的にも政治的にも中立であることを目指しています。(しかし)誰も完璧にはできていないと思います。(Dario 氏)

それにもかかわらず、Dario 氏は、Gemini が直面している非難とは対照的に、Anthropic は広く合意された価値観で構成されているため、党派的なアジェンダにモデルが偏らないようにするのに役立っていると考えている。

私たちの目標は、特定の政治的あるいはイデオロギー的な視点を促進することではありません。私たちのモデルは、すべての人に適したものでありたいのです。(Dario 氏)

【via VentureBeat】 @VentureBeat

【原文】

Members

BRIDGEの会員制度「Members」に登録いただくと無料で会員限定の記事が毎月10本までお読みいただけます。また、有料の「Members Plus」の方は記事が全て読めるほか、BRIDGE HOT 100などのコンテンツや会員限定のオンラインイベントにご参加いただけます。
無料で登録する