Elon Musk（イーロン・マスク）氏は、少なくとも6つの革新的な企業——Tesla、SpaceX、Starlink、X（以前の Twitter）、Neuralink、xAI の責任者である。しかし、それだけでは十分ではない。

この複数企業のリーダーは22日に X で、Grok として知られる大規模言語モデル（LLM）と同名のチャットボットを X を通じて有料会員に提供している xAI が、テネシー州メンフィスにある「世界で最も強力な AI トレーニングクラスター」、いわゆる「Memphis Supercluster」でトレーニングを開始したと発表した。

Nice work by @xAI team, @X team, @Nvidia & supporting companies getting Memphis Supercluster training started at ~4:20am local time.

With 100k liquid-cooled H100s on a single RDMA fabric, it’s the most powerful AI training cluster in the world!

— Elon Musk (@elonmusk) July 22, 2024

地元ニュースの WREG によると、このスーパークラスターは市の南西部に位置し、「新規参入企業による資本投資としては市史上最大となる」という。しかし、xAI は地元の電力会社 Tennessee Valley Authority との契約をまだ結んでいない。Tennessee Valley Authority は、100メガワットを超えるプロジェクトに電力供給契約を義務付けている。

Nvidia H100 が満載

それにもかかわらず、Musk 氏はさらに、このクラスターが10万個の液冷 H100グラフィック・プロセッシング・ユニット（GPU）で構成されていると詳述した。このチップは、昨年から Nvidia が提供しているもので、Musk 氏のライバル（そしてかつての友人）である OpenAI を含む AI モデル・プロバイダからの需要が高い。

Musk 氏はまた、このクラスタが単一の RDMA ファブリック（Remote Direct Memory Access ファブリック）上で動作していることにも言及している。これは、中央処理装置（CPU）に負担をかけることなく、コンピュートノード間でより効率的で低レイテンシーのデータ転送を提供する方法として、Cisco が親切に指摘しているものだ。

2024年12月時点で「あらゆる指標で最もパワフルな AI」の提供を目指す

xAI がスーパークラスター上で独自の LLM を訓練することを目指しているのは明らかだ。しかしそれ以上に、Musk 氏は返信の中で、同社は 「あらゆる指標で世界最強のAI」を訓練し、それを「今年の12月までに」実現することを目指していると投稿した。

彼はまた、Memphis Supercluster はこの目的のために「大きな利点」を提供するだろうとも投稿した。

This is a significant advantage in training the world’s most powerful AI by every metric by December this year

— Elon Musk (@elonmusk) July 22, 2024

時期については期待していない

完全自動運転自動車、ロボットタクシー、火星への移住など、Musk 氏は多くの野心と成功のために、多くのプロジェクトをを公言しては、それを守らないことで悪名高い。だから、2024年12月の新しい Grok LLM の発表に期待することはない。しかし、もしその時期にローンチされれば、驚きであり、xAI の取り組みを大きく後押しすることになるだろう。

特に、OpenAI、Anthropic、Google、Microsoft、Metaが より強力で手頃な価格の LLM や SLM を追求している中、xAI が顧客、ユーザ、そして注目を集めるために現在進行中の生成 AI の戦いで競争力を維持することを目指すのであれば、新しく有用なモデルが必要になるだろう。

実際、OpenAI の支援者である Microsoft は、OpenAI の CEO Sam Altman（サム・アルトマン）氏と共同で、コードネーム「Stargate」と呼ばれる1,000億米ドル規模の AI トレーニング用スーパーコンピューターを開発中だと「The Information」は伝えている。その進展次第では、xAI の Memphis Supercluster が世界最強である期間は長くはないかもしれない。

【via VentureBeat】 @VentureBeat

【原文】