2012年のImageNetの瞬間には数人の研究者と1つのGPUが関わっていた。しかし、これは最初のマイルストーンに過ぎないと、NvidiaのAIソフトウェア製品管理担当副社長であるKari Briski氏は述べる。

「次の課題は、GPUのパワーをいかにスケールアップさせるかでした。GPU同士が通信できるようにするためのソフトウェアに取り組み、シングルGPUからマルチGPU、マルチノードへと移行しました」

過去7年間、Nvidiaは、CUDAでコーディングしなければならない必要性を抽象化するライブラリやフレームワークで、深層学習ソフトウェアを構築することに注力してきた。cuDNNのようなCUDAアクセラレーションライブラリを、より広く使われているPythonベースのライブラリであるPyTorchやTensorFlowの中に入れている。Briski氏は次のように述べる。

「数百、数千のGPUが互いに通信し、ニューラルネットワークを構築できるようになりました。トレーニングに数カ月かかっていたのが数週間になり、今日ではその同じニューラルネットワークをトレーニングするのに数秒でできるようになったのです」。

さらに、2018年までにGPUはAIのトレーニングだけでなく、推論にも使われるようになり、音声認識、自然言語処理、推薦システム、画像認識などの機能をサポートするようになった。これは、NvidiaのT4チップのようなハードウェアの増加だけでなく、データセンターや自動車アプリケーション、さらにはロボットやドローンにおいて、これらのリアルタイム推論ワークロードを促進するソフトウェアの増加を意味している。

その結果、Nvidiaはハードウェア企業よりもソフトウェア企業になった、とNvidiaのDas氏は言う。同社はソフトウェアエンジニアや研究者をどんどん採用し、AIの最先端となる研究部門を構築した。

「ユースケースと呼ばれるソフトウェアを次々と構築し始めたのです。トレーニング用のTensorFlowやPyTorchのような標準やフレームワークが進化し始めると、NvidiaはそれらをGPU用に最適化しました。我々はAI開発者になり、エコシステムを本当に受け入れたのです」。

Nvidiaの2022年GTC Analyst/Investor Conferenceで、Huang氏は前年に発売されたAI Enterprise Software Suiteへの賛辞を含め、同社の継続的なソフトウェアとプラットフォームの重視を非常に明確にしている。

「当社のソフトウェアで重要なのは、当社のプラットフォームの上に構築されている、ということです。すなわちNvidiaのハードウェアチップとシステムプラットフォームのすべてを起動させるということです。そして、2つ目は、我々のソフトウェアは、業界を定義するソフトウェアであるということです。ようやく企業がライセンスを取得できる製品を作ることができました。オープンソースの製品だけでは自分たちの企業で機能させることはできません。これはLinuxのオープンソースのソフトウェアをダウンロードして、それで数十億ドルの企業を経営しようとしているのと同じことを意味するからです」。

プラットフォームアプローチの結果、顧客がNvidiaから購入するときはいつでも、単にソフトウェアを購入するのではなく、Nvidiaのバリューチェーンを購入していることになる。

これがNvidiaの戦略におけるもう1つの重要な柱であると、GartnerのDekate氏は説明する。GPUとCUDA、そしてNvidiaのチャネル戦略によって、顧客が最も慣れ親しんでいるオプションとソーシングで顧客を囲い込み、エコシステムの成長のフライホイールを作り出したのだ。

Nvidiaは、企業のエンドユーザーを直接口説く必要はない。エンドユーザーは使い慣れた技術を使いながらも、Nvidiaのビジネス・クランクを回すことができるからだ。

NvidiaのAIに対する逆風

2010年代後半には、グラフコアやセレブラス、サンバノヴァなど、AIチップのスタートアップが登場し始めた。当時、アナリストのKarl Freund氏によると、AI専用のチップを設計しているため、これらのスタートアップの方がNvidiaのチップよりも優れているというのが一般的な見方だったそうだ。しかし、彼は「それは事実とはならなかった」と言う。

「Nvidiaは、ハードウェアとソフトウェアの両方でイノベーションを起こし、リードを保つことができたのです」。

しかし、現在ではNvidiaのリードは減少している。Intelが所有するHabana Labsは、Habana Gaudi2チップで実に良い結果を出しており、GoogleのTPU4は「本当に良くA100と競争力がある」とFreund氏は指摘しています。

しかし、Nvidiaには、誰もが量産出荷を心待ちにしているH100が控えているのだ。新しいHopper H100チップは、大規模にスケーラブルなAIインフラのエンジンとなるように設計された新しいアーキテクチャを使用している。また、GPTの構成要素であるトランスフォーマー層の学習と推論に特化して最適化されたTransformer Engineという新しいコンポーネントが含まれている（ちなみにChatGPTはGenerative Pretrained Transformerの略だ）。

また、CUDAの現在の競合堀が挑戦されたとしても、Nvidiaは、ヘルスケア向けAIやデジタルツイン /オムニバース向けAIなど、最新の上位のユースケースに特化したソフトウェアに置き換えることも行っている。

最後に、今年後半にすべての競争トレンドが具体化し始めたとしても、Nvidiaの収益に重大な影響を与えるのは2024年までではないかとFreund氏は見積もる。その場合でも、すべての競合を合わせても市場のわずか10％しか得られないと彼は言う。

一方、Gartner社のDekate氏は、Nvidiaにはもはや、かつて市場を支配することができたクリーンな競争環境はないと主張する。その展開には、顧客の選択肢が増えたことで、少なくともエンドユーザーが価格面で有利になるように動けるようになったことが含まれる。

また、一部の中国ベンダーはNvidiaのGPUにアクセスすることなくやっていかなければならないため、競争力のある技術を加速させようとするだろう、と同氏は予測している。

NvidiaのBriski氏はこういった懸念を一蹴する。

「私たちは以前から逆風にさらされていました。私たちは常につま先立ちで、ある種の快適さを感じることがないように挑戦していると思います」。

いずれにせよHuang氏は、競合他社がAI市場に参入し、機能し、複雑すぎず、開発者が望むソフトウェアを使用するソリューションを作ることは厳しいと主張する。

AIのビジョナリー：Huang氏

シリコンバレーの黒い制服の上に革ジャンを羽織っていることで有名なNvidiaのCEO、Jensen Huang氏は、長年にわたり、派手、スーパースターから時にはジョーク好き、次のスティーブ・ジョブスまで、あらゆる表現で呼ばれている。

NvidiaのAIの成功について議論すると、どうしてもHuang氏の話になる。

NvidiaのDas氏は、2019年にMicrosoftから同社に入社した人物だ。入社する前の9カ月間、Huang氏と多くの会話を交わしたという。

「私がJensenの下で働くためにNvidiaに入社したのは、彼がすべての会話が私の心を揺さぶったからです。あんな人がいて、あんな風に考えることができて、あんな風に実際に操作できる人がいるということがね」。

アナリストのFreund氏は、Huang氏が「あの会社の驚くべき推進者」と強調し、Nvidiaには多くの組織層がないと付け加えた。Huang氏は、彼とエンジニアリング作業や科学作業を行う人々の間に多くの層を持つことを好まないからだ。とはいえ、Huang氏は要求も厳しいと付け加える。

「私がAMDで働いていたときグラフィックエンジニアの多くはNvidiaの離脱者たちでした。彼らがNvidiaを去ったのは、彼のプレッシャーに耐えられなかったからです」。

NvidiaのジェネレーティブAIチャンス

Catanzaro氏は2014年にNvidiaを退職し、Andrew Ng氏と共にBaiduで働きましたが、2016年にNvidiaに戻り、応用深層学習の研究に焦点を当てた新しいラボを率いることになった。当時は、彼一人だけだったが、現在では40人の研究者チームを率いている。

Nvidiaのアクセラレーテッド・コンピューティング・ビジネスでは、彼のチームはそれぞれのアプリケーション全体を最適化して考えることが求められるそうだ。

「責任を外部に委託することはありません。Nvidiaは、チップからアプリケーション、アルゴリズム、ライブラリ、コンパイラフレームワーク、相互接続されたデータセンターアーキテクチャまで、上から下まで、問題全体に取り組んでいます。Nvidiaの研究者はスタックの一部分だけを考えることに限定すれば、できることをはるかに超えて加速を推し進める裁量を持っています」。

そして、ChatGPTの新時代においてNvidiaはそれをさらに押し進めることができると彼は付け加える。

「企業は多くの異なる問題へのAIの適用を本当に推し進めることになるでしょう。それはもちろん、私の仕事をさらにエキサイティングにするはずです。私は応用研究が今、最もホットな場所であるように感じています」。

Huang氏も、ChatGPTの変革の瞬間を重く見ています。「これは、人工知能におけるiPhone誕生の瞬間です」ーー彼は、バークレー大学ハースビジネススクールで行われた最近のQ&Aで、こう述べた。

「（iPhoneは）モバイル・コンピューティングのすべてのアイデアを結集し、誰もが「なるほど、これだ」と納得できる製品に仕上げたものだったのです」。

Das氏は、NvidiaがジェネレーティブAIというチャンスに十分に準備ができていると述べる。

「何年もそれに取り組んできた人たちにとって、私たちはこれを予期していたようなものです。私たちは大規模な言語モデルのトレーニングに取り組んでおり、その能力を知っています」。

NvidiaはAIのスイートスポットに立った

2012年のAlexNet以来、NvidiaのAIの旅は常に開かれた機会を利用してきた。たとえGPUの場合でも、それが予想外のものであったとしても、だ。

そのため、1カ月後に迫った2023年のGTCでは、ジェネレーティブAIに焦点を当てた65以上のセッションが予定されている。Nvidiaは間違いなくスイートスポットに位置している。NvidiaのGPUが10年前のディープラーニング革命の中心であったように、Nvidiaのハードウェアとソフトウェアは、今日の大量に消費されるGPUを使用した生成AI技術の舞台裏で動いているのだ。

そして、GoogleであろうとMicrosoftであろうとOpenAIであろうと、どの企業がトップに立とうとも、それらを供給するNvidiaは大勝利を収めることになるだろう。

【via VentureBeat】 @VentureBeat

【原文】