Stability AI は、「Stable Video 4D」のデビューにより、文字通り新たな次元を追加し、成長する生成 AI モデルのリストを拡大している。

OpenAI の「Sora」のほか、「Runway」「Haiper」「Luma AI」など、動画生成のための生成 AI ツールは増え続けているが、Stable Video 4D は少し違う。Stable Video 4D は、画像を動画に変換する Stability AI の既存モデル「Stable Video Diffusion」の基礎の上に構築されている。新しいモデルは、動画入力を受け入れ、8つの異なる視点からの複数の斬新な映像を生成することで、このコンセプトをさらに発展させている。

Stability AI の3D 研究チームリード Varun Jampani 氏は VentureBeat に次のように語った。

私たちは、Stable Video 4Dが、映画制作、ゲーム、AR/VR、および任意のカメラアングルから動的に動く3Dオブジェクトを表示する必要があるその他のユースケースで使用されると考えています。

Stable Video 4D は、生成 AI の単なる3D とは違う

これは Stability AI にとって、2D 空間の平坦な世界を超える最初の進出ではない。

3月には「Stable Video 3D」が発表され、ユーザは画像やテキストプロンプトから短い3D動画を生成できるようになった。Stable Video 4D はさらに一歩進んでいる。3D、つまり3次元の概念は、奥行きのある画像や映像の一種として一般的に理解されているが、4D はおそらくそれほど普遍的に理解されていない。

Jampani 氏は、4次元には幅（x）、高さ（y）、奥行き（z）、時間（t）が含まれると説明した。つまり、Stable Video 4D は、動く3D オブジェクトを様々なカメラアングルから、また異なるタイムスタンプで見ることができるということだ。

Stable Video 4Dを可能にした重要な点は、以前にリリースしたモデル Stable Video Diffusion と Stable Video 3D の長所を組み合わせ、入念にキュレーションされたダイナミック3Dオブジェクトデータセットでファインチューニングしたことです。

Stable Video 4D は、1つのネットワークが斬新なビュー合成と動画生成の両方を行う、世界初のネットワークです。既存の研究では、このタスクのために、動画生成と新規ビュー合成のネットワークを別々に活用しています。

また、Stable Video 4D は、Stable Video Diffusion や Stable Video 3D とは注意メカニズムの仕組みが異なります。

我々は、拡散ネットワークにおける注意メカニズムを注意深く設計しており、各動画フレームが異なるカメラビューやタイムスタンプで隣接するフレームに注意を向けることができるようにしています。（Jampani 氏）

Stable Video 4D と生成 AI「Infill」との違い

2D 画像生成のための生成 AI ツールでは、隙間を埋めるインフィルとアウトフィルのコンセプトが確立されている。しかし、Infill／Outfill のアプローチは、Stable Video 4D の機能とは異なる。

Jampani 氏は、このアプローチは生成 AI の Infill／Outfill とは異なると説明する。つまり、入力画像からの情報の明示的な転送によって、出力はすでに部分的に満たされているのだ。

Stable Video 4D は、元の入力映像をガイダンスとして使用することで、8つの斬新なビュー映像をゼロから完全に合成します。入力から出力へのピクセル情報の明示的な転送はなく、この情報転送はすべてネットワークによって暗黙的に行われます。（Jampani 氏）

Stable Video 4D は現在、Hugging Face 上で研究評価用に利用可能である。Stability AI　は、将来的にどのような商用オプションが利用可能になるかはまだ発表していない。

Stable Video 4Dは、無地の背景を持つ数秒間の単一オブジェクトの動画を処理することができます。より長い動画や、より複雑なシーンにも一般化する予定です。（Jampani 氏）

【via VentureBeat】 @VentureBeat

【原文】