イーロン・マスク氏の Grok AI がオープンソースになった

VentureBeat VentureBeat
SHARE:
Credit: VentureBeat made with Midjourney V6

自身の言葉に忠実な億万長者で複数の企業を率いる Elon Musk（イーロン・マスク）氏のスタートアップ xAI は、本日（訳註：原文掲載日は3月17日）、初の大規模言語モデル (LLM) Grok をオープンソースにした。

Musk 氏が以前、今週中に実現すると宣言していたこの動きにより、他の起業家、プログラマー、企業、個人は誰でも、Grok のウェイト（モデルの人工「ニューロン」間の接続の強さ。ニューロンは、モデルが意思決定を行い、入力を受け付け、テキストの形で出力を提供するためのソフトウェアモジュールである）や関連するドキュメントを使用して、商用アプリケーションを含む任意の目的でモデルのコピーを利用できるようになった。

「当社は、大規模言語モデル Grok-1 のベースモデルのウェイトとネットワークアーキテクチャをリリースする」と同社はブログ記事で発表している。「Grok-1 は、xAI がゼロから学習した 3,140 億パラメーターの Mixture-of-Experts モデルである」。興味のある人は、Grok の Github ページまたは torrent リンクからコードをダウンロードできる。Hugging Face もこちらに高速ダウンロードのインスタンスを追加した。

Grok のオープンソース化が意味すること

パラメーターとは、モデルを制御するウェイトとバイアスのことである。一般的に、パラメーターが多いほど、モデルは高度で複雑になり、パフォーマンスが高くなると言われている。Grok は 3,140 億パラメーターを有しており、Meta の Llama 2（700 億パラメーター）やMistral 8x7B（120 億パラメーター）などのオープンソースの競合他社を大きく上回っている。

Grok は Apache License 2.0 の下でオープンソース化された。これにより、商用利用、修正、配布が可能だが、商標登録はできず、ユーザーは責任や保証を受けられない。また、元のライセンスと著作権表示を再現し、変更点を明示しなければならない。

2023年10月に JAX と Rust の上にカスタムの学習スタックを使用して開発された Grok のアーキテクチャは、ニューラルネットワーク設計における革新的なアプローチを取り入れている。このモデルは、特定のトークンに対してウェイトの 25% を利用する戦略を採用しており、効率性と有効性を高めている。

Grok は当初、2023年11月にプロプライエタリまたは「クローズドソース」のモデルとしてリリースされ、今回オープンソース化されるまで、Musk 氏の別の関連ソーシャルネットワーク X（旧 Twitter）でのみ、特に月額 16 ドルまたは年額 168 ドルの X Premium+ 有料サブスクリプションサービスを通じてアクセス可能だった。

ただし、Grok のリリースには、学習データの完全なコーパスは含まれていない。モデルはすでに学習済みなので、使用する上ではこれは問題にならないが、ユーザーがモデルが何から学習したかを知ることはできない（xAI のブログ記事では、「大量のテキストデータで学習したベースモデルであり、特定のタスクに対してファインチューニングされていない」と不透明に述べられている）。

また、Musk 氏が当初、他の LLM よりも Grok の主要な特徴として宣伝していた X 上のリアルタイム情報へのフックアップも含まれていない。そのためには、ユーザーは引き続き X 上の有料版にサブスクライブする必要がある。

単なる技術的な動きというよりはビジネスと PR 戦略

Musk 氏が共同創設し、2018年に不仲で袂を分かち、現在は競合している OpenAI による ChatGPT に対抗するように設計された Grok は、「理解」を意味するスラングにちなんで名付けられ、「Hitchhiker’s Guide to the Galaxy（銀河ヒッチハイク・ガイド）をモデルにした AI」と説明されている。Hitchhiker’s Guide to the Galaxy は、イギリスの作家 Douglas Adams（ダグラス・アダムス）による1970年代の記念碑的なラジオドラマとSF風刺小説シリーズであり、2005年に大作映画化された。

Musk 氏は、Grok を ChatGPT や他の主要な LLM よりもユーモラスで検閲されていないバージョンとして好意的に位置づけており、この姿勢は、AI の検閲に対する不満や、Google Gemini の恥ずかしい人種的に混乱した画像生成と疑問のあるイデオロギー的立場

（Gemini は少なくとも1つの例で、Musk のツイートはナチスの指導者 Adolf Hitler と同じくらい社会に悪影響を及ぼす可能性があると示唆した）を考えると、ユーザーの間で新たに魅力的なものとなっている。Gemini はもちろん、Musk 氏や、a16z の共同創設者でウェブのパイオニアである Marc Andreessen（マーク・アンドリーセン）氏など、影響力のある他のテック業界のリーダーから痛烈な批判を受けている。

Grok のオープンソース化は、Musk 氏 が OpenAI を訴えた裁判や、同社を非営利組織として運営するという「創業時の合意」を放棄したと非難した一般的な批判においても、明らかに役立つイデオロギー的立場である。OpenAI は少なくとも世論の法廷では自己防衛のためにメールを公開し、Musk 氏 がプロプライエタリで営利目的の技術への移行を認識し、おそらく支持していたことを示唆した。

すでに X 上の AI コミュニティは、このリリースに好奇心と興奮を持って反応している。特に、技術コミュニティは、フィードフォワード層における GeGLU の使用と正規化へのアプローチに言及しており、興味深いサンドイッチノームの手法に注目している。OpenAI の従業員でさえ、このモデルに関心を示す投稿をしている。

このように、Grok のリリースは、他のすべての LLM プロバイダー、特に他のオープンソースのライバルに対して、自社製品がどのように優れているかをユーザーに説明するよう圧力をかけることになるだろう。

【via VentureBeat】 @VentureBeat

【原文】

Members

BRIDGEの会員制度「Members」に登録いただくと無料で会員限定の記事が毎月10本までお読みいただけます。また、有料の「Members Plus」の方は記事が全て読めるほか、BRIDGE HOT 100などのコンテンツや会員限定のオンラインイベントにご参加いただけます。
無料で登録する


関連記事

  1. 人材集めに数億米ドル拠出か——イーロン・マスク氏、AIビジネスに参戦する理由を語る
  2. 競合OpenAIが「DevDay」を目前に控える11月4日、イーロン・マスク氏がxAIの初モデルをローンチへ
  3. イーロン・マスク氏、xAI初の製品「Grok」を発表——リアルタイムデータ、効率性、ユーモアを提供するLLM