イーロン・マスク氏の Grok AI がオープンソースになった

SHARE:
Credit: VentureBeat made with Midjourney V6

自身の言葉に忠実な億万長者で複数の企業を率いる Elon Musk(イーロン・マスク)氏のスタートアップ xAI は、本日(訳註:原文掲載日は3月17日)、初の大規模言語モデル (LLM) Grok をオープンソースにした

Musk 氏が以前、今週中に実現すると宣言していたこの動きにより、他の起業家、プログラマー、企業、個人は誰でも、Grok のウェイト(モデルの人工「ニューロン」間の接続の強さ。ニューロンは、モデルが意思決定を行い、入力を受け付け、テキストの形で出力を提供するためのソフトウェアモジュールである)や関連するドキュメントを使用して、商用アプリケーションを含む任意の目的でモデルのコピーを利用できるようになった。

「当社は、大規模言語モデル Grok-1 のベースモデルのウェイトとネットワークアーキテクチャをリリースする」と同社はブログ記事で発表している。「Grok-1 は、xAI がゼロから学習した 3,140 億パラメーターの Mixture-of-Experts モデルである」。興味のある人は、Grok の Github ページまたは torrent リンクからコードをダウンロードできる。Hugging Face もこちらに高速ダウンロードのインスタンスを追加した

Grok のオープンソース化が意味すること

パラメーターとは、モデルを制御するウェイトとバイアスのことである。一般的に、パラメーターが多いほど、モデルは高度で複雑になり、パフォーマンスが高くなると言われている。Grok は 3,140 億パラメーターを有しており、Meta の Llama 2(700 億パラメーター)Mistral 8x7B(120 億パラメーター)などのオープンソースの競合他社を大きく上回っている。

Grok は Apache License 2.0 の下でオープンソース化された。これにより、商用利用、修正、配布が可能だが、商標登録はできず、ユーザーは責任や保証を受けられない。また、元のライセンスと著作権表示を再現し、変更点を明示しなければならない。

2023年10月に JAX と Rust の上にカスタムの学習スタックを使用して開発された Grok のアーキテクチャは、ニューラルネットワーク設計における革新的なアプローチを取り入れている。このモデルは、特定のトークンに対してウェイトの 25% を利用する戦略を採用しており、効率性と有効性を高めている。

Grok は当初、2023年11月にプロプライエタリまたは「クローズドソース」のモデルとしてリリースされ、今回オープンソース化されるまで、Musk 氏の別の関連ソーシャルネットワーク X(旧 Twitter)でのみ、特に月額 16 ドルまたは年額 168 ドルの X Premium+ 有料サブスクリプションサービスを通じてアクセス可能だった。

ただし、Grok のリリースには、学習データの完全なコーパスは含まれていない。モデルはすでに学習済みなので、使用する上ではこれは問題にならないが、ユーザーがモデルが何から学習したかを知ることはできない(xAI のブログ記事では、「大量のテキストデータで学習したベースモデルであり、特定のタスクに対してファインチューニングされていない」と不透明に述べられている)。

また、Musk 氏が当初、他の LLM よりも Grok の主要な特徴として宣伝していた X 上のリアルタイム情報へのフックアップも含まれていない。そのためには、ユーザーは引き続き X 上の有料版にサブスクライブする必要がある。

単なる技術的な動きというよりはビジネスと PR 戦略

Musk 氏が共同創設し、2018年に不仲で袂を分かち、現在は競合している OpenAI による ChatGPT に対抗するように設計された Grok は、「理解」を意味するスラングにちなんで名付けられ、「Hitchhiker’s Guide to the Galaxy(銀河ヒッチハイク・ガイド)をモデルにした AI」と説明されている。Hitchhiker’s Guide to the Galaxy は、イギリスの作家 Douglas Adams(ダグラス・アダムス)による1970年代の記念碑的なラジオドラマとSF風刺小説シリーズであり、2005年に大作映画化された

Musk 氏は、Grok を ChatGPT や他の主要な LLM よりもユーモラスで検閲されていないバージョンとして好意的に位置づけており、この姿勢は、AI の検閲に対する不満や、Google Gemini の恥ずかしい人種的に混乱した画像生成と疑問のあるイデオロギー的立場

(Gemini は少なくとも1つの例で、Musk のツイートはナチスの指導者 Adolf Hitler と同じくらい社会に悪影響を及ぼす可能性があると示唆した)を考えると、ユーザーの間で新たに魅力的なものとなっている。Gemini はもちろん、Musk 氏や、a16z の共同創設者でウェブのパイオニアである Marc Andreessen(マーク・アンドリーセン)氏など、影響力のある他のテック業界のリーダーから痛烈な批判を受けている。

Grok のオープンソース化は、Musk 氏 が OpenAI を訴えた裁判や、同社を非営利組織として運営するという「創業時の合意」を放棄したと非難した一般的な批判においても、明らかに役立つイデオロギー的立場である。OpenAI は少なくとも世論の法廷では自己防衛のためにメールを公開し、Musk 氏 がプロプライエタリで営利目的の技術への移行を認識し、おそらく支持していたことを示唆した。

すでに X 上の AI コミュニティは、このリリースに好奇心と興奮を持って反応している。特に、技術コミュニティは、フィードフォワード層における GeGLU の使用と正規化へのアプローチに言及しており、興味深いサンドイッチノームの手法に注目している。OpenAI の従業員でさえ、このモデルに関心を示す投稿をしている

https://twitter.com/borisdayma/status/1769456070659903728?ref_src=twsrc%5Etfw%7Ctwcamp%5Etweetembed%7Ctwterm%5E1769456070659903728%7Ctwgr%5Eb64d2ccdb1c025f1280871fe32ce9dafa7174062%7Ctwcon%5Es1_c10&ref_url=https%3A%2F%2Fventurebeat.com%2Fai%2Fmusks-grok-ai-goes-open-source%2F

このように、Grok のリリースは、他のすべての LLM プロバイダー、特に他のオープンソースのライバルに対して、自社製品がどのように優れているかをユーザーに説明するよう圧力をかけることになるだろう。

【via VentureBeat】 @VentureBeat

【原文】

BRIDGE Members

BRIDGEでは会員制度の「Members」を運営しています。登録いただくと会員限定の記事が毎月3本まで読めるほか、Discordの招待リンクをお送りしています。登録は無料で、有料会員の方は会員限定記事が全て読めるようになります(初回登録時1週間無料)。
  • 会員限定記事・毎月3本
  • コミュニティDiscord招待
無料メンバー登録