（前編からの続き）

デュアルユース技術

私は常々、野心的な企業がどのようにしてメタバースのようなものを構築するのか疑問に思っていたが、今になって、シミュレートすることがより重要なこともあることがわかった。それらを達成すれば、地球のレプリカという形で非常に特別なボーナスを得ることができる。このレプリカは、私たちの想像力を働かせて、独自のバージョンのメタバースを構築するためのジャンプポイントとして使うことができる。

これは、かつて軍用に開発された「デュアルユース技術」を想起させる。例えば、戦車の運転やジェット機の操縦を兵士に教えるための 3D シミュレータがある。これらのシミュレータは、バーチャルリアリティ・シミュレーションから戦闘機ゲームまで、現代の 3D ビデオゲームの基礎となっている。ここでは、非常に多くの専門家が参加する、史上最も重要な科学プロジェクトの一つが行われる。

世界各国の政府が Nvidia に必要な資金を提供してくれるかもしれないし、市場価値7,890億米ドルの Nvidia は自分でこれを構築する余裕があるかもしれない。そしてそれが構築されれば、現代のメタバースの基盤となることができる。

私が言いたいのはこういうことだ。我々、無料で何かを手に入れられることはあまりない。しかし、もし私たちが、気候を解読し、地球を滅ぼしかねないものを皆が理解できるようにするための問題解決に投資するのであれば、地球を滅ぼすことなく仮想世界を楽しむことができるメタバースのようなものを副産物として手に入れることができることに感謝すべきだ。

企業やゲームにおける Omniverse のアバター

別のレベルでは、Nvidia は、歩行者や自動運転車の行動をモデル化するために、AI のようなキャラクターも作っている。人間のような行動を再現するための投資を行っており、先ごろ AI を使ってゲームのノンプレイヤーキャラクターのような役割を果たすことができる 3D キャラクター「Omniverse Avatars」も発表した。

Huang 氏は、Omniverse Avatars には、音声認識、音声合成、テキストからの自然音声合成、多言語翻訳、フェイスアニメーション、アイトラッキングなど、質の高いゲームキャラクタを作るためのクールな技術が満載されていると述べている。

このようなゲームをプレイする際には、中にいるキャラクターに話しかけることになる。アバターは理解する。文字通り理解してくれる。あなたは「あそこに行って、右に行って」と言えばいい自分のチームやパートナーと話ができるようになる。それはとても面白いことになるだろうアバターは話し返してくる。アバターはコンピュータビジョンを持っている。前方に進むと、角を曲がったところに戦車が来ているのがわかるんだ。アバターにはそれが見えるのだ。プログラマーがソフトウェアにすべてを書き込むよりも、キャラクタが知覚を使うほうがずっと簡単だ。

Huang 氏は、Omniverse Avatars を作成した重要な理由の1つとして、より良い顧客サービスを提供することを挙げている。

ドライブスルー、ファーストフードの不足が深刻だ。我々は今、アバターととても良い会話ができるようにした。アバターとの会話は、どんな方法でも良いのだ。アバターにお勧めを聞くこともできる。ハンバーガーを表現する方法はたくさんあるが、アバターはその意味を認識してくれる。顧客サービス、インテリジェントな小売店のチェックアウトなど、あらゆることが可能だ。2,500万ものレストランや店舗があり、誰もが人手不足に悩んでいる。これは最も重要な分野の1つになるるだろう。

Omniverse Avatarsは、デュアルユース技術のもう一つの例だ。このアバターは、顧客サービスのために作られたもので、これは魅力的なビジネスモデルだと思いる。(しかし、ゲームの世界やメタバースの世界のリアルなキャラクターとして、何百万人もの人々が必要とする人間のようなアバターを提供することもできる。

これらのOmniverse Avatars は、我々が望めば Omniverse から切り離すこともできるとHuang 氏は言う。しかし、より現実的な新しい行動を学んだら、それを Omniverse  にフィードバックして、キャラクタのモデルを改善すべきだ。ここでも私は、Omniverse がメタバースになるのではないか、少なくともゲーム開発者が作るようなメタバースになるのではないか、という考えを持ち出した。

Huang 氏は次のように語ってくれた。

メタバースにはさまざまな用途がある。一般消費者、ビデオゲーム、そしてすでにお話しした一般消費者にとっては、我々がエンジンとなるだろう。我々こそ、その基礎となる技術だ。我々がそのエンジンとなるのだ。企業向け、特に産業向けでは我々がデジタルツインのための全体的なエンジン、全体的なシミュレーションエンジンとなるだろう。（中略）

エッジの場合、先ほどお話した小売店向けのアプリケーションは、企業でいうところのエッジ・コンピューティングだ。あまりにもかわいいものなので、もはやエッジ・コンピューティング・アプリケーションとは考えられない。しかし、これは究極のエッジ・コンピューティング・アプリケーションと言えるだろう。トラクターの車両群や AMR（自律移動ロボット）のロボット群ではなく、小さなアニメーションのキャラクターたちだ。これは、そのピクセルを動かすものだ。これはまさにロボット工学のアプリケーションだ。とてもかわいい。（中略）

エンタープライズ・エッジは、メタバースや Omniverse の大きな可能性の一つであり続ける。その反対側には、もちろんコンシューマ向けのものがある。コンシューマ向けの場合、我々が業界と協力する方法は、今日のビデオゲーム業界と協力する方法と非常によく似ている。我々は、基礎となるエンジンやインフラを提供する。それはクラウドかもしれないし、GFN（GameForce NOW、Nvidia によるクラウドベースのゲームサービス）かもしれない。彼らのクラウドかもしれない。我々は、エンジンレベルのインフラを提供する。（Huang 氏）

【via VentureBeat】 @VentureBeat

【原文】

Nvidiaは11月22日、GauGAN モデルの後継となる GauGAN2 という AI システムの詳細を発表した。これにより、ユーザーは実在しない実物そっくりの風景画像を作成することができる。GauGAN2 は、セグメンテーションマッピング、インペインティング、テキストから画像への生成などの技術を1つのツールにまとめ、言葉と絵が混在するフォトリアリスティックなアートを作成できるように設計されている。

Nvidia のコーポレート・コミュニケーション・チームのメンバー Isha Salian 氏は、次のようにブログに書いている。

GauGAN2 のニューラルネットワークは、テキストから画像へ、あるいはセグメンテーションマップから画像へのアプリケーションに特化した最先端のモデルと比較して、より多様で高品質な画像を生成する。

ユーザは、想像したシーンのすべての要素を描き出す必要はなく、簡単なフレーズを入力するだけで、雪をかぶった山脈のような画像の主な特徴やテーマを素早く生成することができる。この出発点から、特定の山を高くしたり、前景に数本の木を加えたり、空に雲を加えたりと、スケッチでカスタマイズすることができる。

テキストから画像を生成

後期印象派の画家ポール・ゴーギャンの名になぞらえた GauGAN2 は、100万枚以上の Flickr の公開画像でトレーニングされた Nvidia の2019年の GauGAN システムを改良したものである。GauGAN2 は、GauGAN  と同様に、季節によって降水の種類が変わることなど、雪、木、水、花、茂み、丘、山といった対象物の関係性を理解している。

GauGANとGauGAN2は、生成器と識別器で構成されるGAN（Generative Adversarial Network）と呼ばれるシステムの一種だ。生成器は、画像とテキストの組み合わせなどのサンプルを受け取り、どのデータ（単語）が他のデータ（風景写真の要素）に対応するかを予測する。生成器は、識別器を欺くことで学習され、識別器は予測が現実的かどうかを評価する。GANの遷移は、最初は質が悪いが、識別器のフィードバックによって改善される。

GauGAN とは異なり、1,000万枚の画像で学習したGauGAN2は、自然言語による説明を風景画像に変換することができる。sunset at a beach」のようなフレーズを入力するとシーンが生成され、「sunset at a rocky beach」のような形容詞を加えたり、「sunset」を「afternoon」や「rainy day」に入れ替えたりすると、瞬時に画像が修正される。

GauGAN2 では、シーンの中のオブジェクトの位置を示す高レベルのアウトラインであるセグメンテーションマップを生成することができる。そこから描画に切り替え、「空」「木」「岩」「川」などのラベルを使ったラフスケッチでシーンを調整し、ツールのペイントブラシで画像に落とし込むことができる。

AIによるブレインストーミング

GauGAN2は、OpenAI の DALL-E  と同じように、テキストプロンプトに合わせて画像を生成することができる。GauGAN2 や DALL-E のようなシステムは、基本的には視覚的なアイデアを生み出すもので、映画、ソフトウェア、ビデオゲーム、製品、ファッション、インテリアデザインなどに応用できる可能性がある。

Nvidia は、GauGAN の最初のバージョンがすでに映画やビデオゲームのコンセプトアートの作成に使用されていると主張している。Nvidia は、GauGAN2のコードをGitHubで公開するとともに、Nvidia の AI およびディープラーニング研究のウェブハブである Playground  でインタラクティブなデモを公開する予定だ。

GauGAN2 のような生成モデルの欠点は、バイアスがかかる可能性があることだ。DALL-E の場合、OpenAI は CLIP という特殊なモデルを使用して、DALL-E が生成した1プロンプトあたり数百個のサンプルの中から上位のサンプルを浮上させて画像品質を向上させた。しかし、ある研究によると、CLIP は黒人の写真を高い確率で誤分類し、女性を「乳母」や「家政婦」などのステレオタイプな職業に関連付けていたという。

Nvidia はプレス資料の中で、GauGAN2に偏りがないかどうかをどのように監査したのか、あるいは監査したかどうかについては言及を避けている。Nvidia の広報担当者はメールで説明した。

このモデルは1億個以上のパラメータを持ち、風景画像の独自のデータセットからトレーニング画像を取得して、1ヶ月以内にトレーニングを完了した。このモデルは風景にのみ焦点を当てており、トレーニング画像に人が写っていないかどうかを監査した…GauGAN2は単なる研究用のデモだ。

GauGAN は、実在しない人物の生き生きとした画像を生成できる「StyleGAN」などのディープフェイク技術を開発した Nvidia が提供する、現実を変える最新の AI ツールの1つだ。2018年9月、同社の研究者たちは、脳腫瘍の合成スキャンを工作できるシステムを学術論文に記載した。同年、Nvidia は、現実世界の映像を使って仮想環境を作ることができる生成モデルを詳述した。

GauGAN の登場に先立ち、GAN Paint Studio が公開された。これは、ユーザーが任意の写真をアップロードして、描かれた建物や植物、備品の外観を編集できる AI ツールだ。他にも、生成機械学習モデルを用いて、YouTube の動画を見て、自然言語のキャプションから画像や絵コンテを作成したり、人間の会話を含む音声クリップに顔の動きをアニメーションで同期させたりして、リアルな動画を作成している。

【via VentureBeat】 @VentureBeat

【原文】

Nvidia 共同設立者兼 CEO Jensen Huang 氏は11月20日、チップ業界の最高栄誉である Robert N. Noyce 賞を受賞し、仲間たちとのイベントに臨んだ。この夜は半導体と AI に関する話題で持ちきりだったが、Huang 氏が語ったある言葉が私の目を引いた。

ニューヨーク・タイムズ紙の元ジャーナリストJohn Markoff 氏と共に壇上に立った Huang 氏は、Nvidia がグラフィックス・チップとディープラーニング・ニューラルネットワーク・アルゴリズムによって可能になった人工知能とシミュレーション技術を利用する目的を見つけたと述べた。

彼の会社は、気候科学のシミュレーションに必要な専門家をすべて集めているので、世界最大のスーパーコンピュータで気候変動のモデルを作成し、数十年にわたって地球がどのように変化するかを予測することができるようになる。そして、Huang 氏はこれを使って、地球の運命について私たちに警告を発する。その上、彼は我々にメタバースを無料で構築してくれる。

そのためには、Nvidia は、デジタルツインをシミュレートするためのプラットフォームとなっているエンジニアのためのメタバース「Omniverse」の基礎の上に、何かを構築しなければならない。例えば、BMWは自動車工場のデジタルツインを構築しているが、シミュレーションがうまくいけば、物理的な世界でまったく同じものを作ることができる。

11月18日の夜、Huang 氏は、カンファレンス「Nvidia GTC」で発表した内容を繰り返し述べた。彼は、Nvidia が気候変動の予測に特化した世界最強の AI スーパーコンピュータを構築する計画があると述べた。「Earth-2（E-2）」と名付けられたこのシステムは、Omniverse の中に地球のデジタルツインを作り出すことになる。

Earth-2 を実現するためには、これまで私たちが発明してきた技術のすべてが必要だ。これ以上に重要な使い方はない。（Huang 氏）

また、シミュレーションにはメートル単位の精度が必要であり、必要であれば、Nvidia はシミュレーションを実行するためのコンピューティングパワーを相殺するために資金を費やすと述べている。Huang 氏によると、数十年分の気候データを衛星で記録し、それをシミュレーション用のスーパーコンピュータに取り込むことが課題になるという。

そして19日の夜、Huang 氏は次のように付け加えた。

我々は地球のデジタルツインを作る。それは巨大なものになるだろう。これは地球上で最大の AI スーパーコンピュータになるだろう。地球上で最も優秀なコンピュータ科学者、最も優秀な物理学者、気候科学者を集めて、そのコンピュータを使って、地球が何十年にもわたってどのように変化するかを予測するのだ。

Nvidia がこの物理的に正確な世界を Omniverse に構築すれば、それは現実世界のメタバースに相当するのではないかと思った。それで、終了後に Huang 氏のところに行って、彼と一緒に自撮りをした。そして、「地球のデジタルツインを作れば、メタバースを無料で手に入れることができるか」と尋ねたのだ。

すると彼は「地球のデジタルツインを作れば、メタバースを無料で手に入れることができる」と言ってくれた。

これは巨大なミッションになるだろう。Nvidiaは、Omniverse を構築することで、気候変動を問題として取り上げるために必要な資金源と専門知識を見つけることを正当化できる。Omniverse は、ゲーム開発者や他のメタバース開発者が独自の仮想世界を作るために必要な地球の詳細の多くを複製することができる。例えば、ゲームで使用できるニューヨークのレプリカなどだ。

確かに、細部は異なるかもしれない。Omniverse  の開発責任者 Richard Kerris 氏がインタビューで語ったように、ゲーム開発者は、人々が毎秒60フレームという軽快な動きができるように、世界の多くの部分を高速で動作させたいと考えるだろう。そして、その目的のためには、世界の細部が細かすぎるだろうと指摘した。

しかし、これが問題なのだ。Nvidia は、とにかくこのバージョンの世界を構築するつもりだ。ゲーム開発者はそれを利用して、Omniverse を自由な基盤として、娯楽目的で作りたいものを作ることができるのだ。

（後編に続く）

【via VentureBeat】 @VentureBeat

【原文】