AIを支配したNVIDIA（２）ーーチャンスに気づいた人 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

問題は、NvidiaはいつまでAIの優位性を維持できるのか、ということだ。誰かが追いつき、そのAIの座から引きずり下ろすのだろうか？専門家はすぐには無理だと言う。

最近、NvidiaはAIの代名詞になっていると、GartnerのアナリストであるChirag Dekate氏は言う。

「単なるGPUコンピューティングの会社ではなく、基本的にはAIスーパーコンピューティングの会社です。NvidiaはAIの風景を完全に自由にしてきました、彼らは、本当にシャープでビジネスに精通した投資と集中したアプローチで市場を支配することを可能にしてきました」

Nvidiaは永遠に自由裁量権を持つわけではない。というのも、AMDやGoogleのようなチップの競合は、一つには、地政学的な力が不利に動く場合に痛いところを突かれるからだ（米国の最新のチップ輸出規制により、例えばNvidiaのA100やH100といった最先端のGPUは、もはや中国に売ることができない）。

しかし、Nvidiaの有名なプラットフォーム戦略とソフトウェアに焦点を当てたアプローチは、依然として難攻不落の堅牢さを誇る。アナリストのJack Gold氏は昨年9月、VentureBeatにこう執筆している。

「他のプレイヤーがチップやシステムを提供する一方、Nvidiaはチップ、関連ハードウェア、そして自社のチップやシステムに最適化されたソフトウェアや開発システムの完全な安定性を含む強力なエコシステムを構築した」。

Air Street Capitalの創設者兼ゼネラルパートナーであるNathan Benaich氏は、Nvidiaが新しい機能をシステムに統合することについても「非常に機敏」であると指摘した。他のAIチップのスタートアップはソフトウェアツールへの投資が不十分で、Nvidiaより高速または安価なクラウドコンピューティングプラットフォームはできても「現在のプログラミング体験に見合った改善は伴わない」と指摘する。

彼はVentureBeatに、最終的にAIゲームは Nvidiaの勝ちになるだろうと語った。そして、Nvidiaは明らかに負けるつもりはないようだ。Nvidiaのエンタープライズコンピューティング担当副社長であるManuvir Das氏は次のように本誌に語った。

「われわれは、ジェネレーティブAIで最も効率的なハードウェアとソフトウェアの組み合わせのプラットフォームを持っていることを理解しています。ただ、我々は常に自分たちには優位性がなく、そして誰も我々を出し抜いたり、イノベーションを起こしたりすることはできない、というモットーで運営しています」。

GPU + CUDA はAIのゲームを変えた。

Jensen Huang氏は、自社のグラフィックチップが最新のビデオゲームを動かす以上の可能性を秘めていることを常に理解していたが、2016年のForbesインタビューによると、ディープラーニングへのシフトは予想していなかったという。

実際、Nvidiaのディープニューラルネットワーク向けGPUの成功は「奇妙で幸運な偶然」であったようだ。さまざまなハードウェアツールの成功と失敗を探った2020年のエッセイ「The Hardware Lottery」の中でSara Hooker氏が明らかにしている。Nvidiaの成功は「宝くじに当たったようなもの」だと彼女は本誌に語った。

「その多くは、ハードウェア側の進歩とモデリング側の進歩の間の整合性の適切な瞬間に依存していたのです。この変化は、ほとんど瞬間的なもので、一晩で、1万3,000個のCPUが必要だったものが、2個のGPUになったのです。それくらい劇的な変化だったのです」。

Jensen Huang氏のAIへの大きな賭け

しかし、Nvidiaはその評価に同意していない。Nvidiaは、AIが最も重要な市場になるとは知らなかったにせよ、2000年代半ばからGPUがニューラルネットワークを加速する可能性に気づいていたと主張する。

「我々は、世界で最も重要な問題が加速されたコンピューティングを必要としていることを知っていました。だから我々は、上から下までCUDA（compute unified device architecture）を構築し、何百万人もの開発者の手に汎用アクセラレーションを置くことに多大な投資をしました。Nvidiaが作るすべてのGPUにCUDAを追加することは、大きな賭けだったのです」（Nvidia広報）。

Nvidiaが2007年に追加したCUDAコンピュートプラットフォームは、研究者がプログラミングし、GPUが可能にする計算能力と極端な並列性にアクセスするためのソフトウェアとミドルウェアスタックである。そして、Nvidiaが2007年にCUDAを追加していなければ、ディープラーニング革命は起こらなかったと、Nvidiaの内外の専門家は強調する。

NvidiaがCUDAをリリースする以前は、GPUのプログラミングは、低レベルのマシンコードを大量に書かなければならず、長く困難なコーディングプロセスだった。無償のCUDAを使うことで、研究者はディープラーニングモデルをより早く、安価に開発できるようになったのだ。もちろん、Nvidiaのハードウェアでだ。Jensen Huang氏は2022年3月のStratecheryのインタビューでCUDAについてBen Thompson氏にこう語っている。

「GPUを身近なものにし、あらゆる世代のプロセッサをCUDA互換にするために、私たちは新しいプログラミングモデルを開発しました」。

しかし、CUDAがリリースされてから6年、NvidiaはまだAIに「全力投球」していたわけではなかった。

Nvidiaの応用深層学習研究担当副社長のBryan Catanzaro氏は、AlexNetが発表され、他の研究者がGPUをいじっていた頃、「NvidiaにはAIに取り組む人が本当にいなかった」と指摘している。

ただ一人、そう、このCatanzaro氏を除いては、だ。

当時、彼はスタンフォードのAndrew Ng氏と「Googleの1000台のサーバーを、GPUとチームが書いたCUDAカーネルの束を使った3台のサーバーに置き換えるという小さなプロジェクト」で共同していたと語る。彼はその時期、NYU AI LabのYann LeCun氏（現Meta社AI研究部長）、Rob Fergus氏（現DeepMind社研究員）ともこう話していたそうだ。

「当時、Fergus氏は私に『多くの機械学習研究者がGPU用のカーネルを書くのに時間を費やしているのは異常だ、本当に調べるべきだ』と言っていました」。

そこでCatanzaro氏は実際に調べてみた。そうすると顧客はディープラーニングのために大量のGPUを購入し始めていたのだそうだ。やがてHuang氏やNvidiaの他の社員もそこに注目するようになる。

2014年には、Huang氏はAIミッションに完全に乗り気になっていた。2013年のGTCの基調講演ではAIについてほとんど触れなかったが、2014年の基調講演では突然、AIが前面に出てきた。機械学習は「今日のハイパフォーマンスコンピューティングで最もエキサイティングなアプリケーションの1つだ」と彼は語っている。