OpenAI は今年初め、リアルで高解像度の滑らかな動画を1クリップ60秒まで作成できる新 AI モデル「Sora」を披露し、テック界やメディア・アート界の多くの人々を驚かせた。

OpenAI は2月時点で、Soraを「危害やリスクのある重要なエリアを評価するレッドチーマー（セキュリティを検証する人々）」、ビジュアルアーティスト、デザイナー、映画制作者の選ばれた少人数に公開すると発表していた。しかし、だからといって、最初のユーザたちが Sora を使って新しいプロジェクトを作り、発表するのを止めることはできない。

現在、OpenAI の厳選された Sora アーリーアクセスユーザの一人で、脚本家兼ディレクターの Paul Trillo（ポール・トリロ）氏は、3月に世界で最初にこのモデルで作られたサードパーティの動画のデモを行ったが、「OpenAI の Sora で作られた最初の公式ミュージックビデオ」と呼ばれるものを作成した。

この動画は、インディー・チルウェーブ・ミュージシャンの Washed Out（Ernest Weatherly Greene Jr.）氏と彼のニューシングル「The Hardest Part」のために制作された。この動画は、基本的に4分の長さで、連続したズームのような錯覚を起こさせるために繋ぎ合わされた、さまざまなシーンを通した一連の素早いズームショットからなる。以下から鑑賞できる。

ソーシャルネットワーク「X」の自身のアカウントで、Trillo 氏は10年前に初めて動画のアイデアを思いついたが、断念したと投稿した。彼はまた、フォロワーからの質問に答え、動画は合計700本あるクリップのうち、Sora によって生成された55の別々のクリップから作られ、Adobe Premiere でつなぎ合わせたと述べた。

First official commissioned music video made with @OpenAI Sora for @realwashedout

This was an idea I had almost 10 years ago and then abandoned. Finally was able to bring it to life.

Watch the full video here https://t.co/sGpmMLVCul pic.twitter.com/J3RxRD9nzo

— Paul Trillo (@paultrillo) May 2, 2024

これとは別だが関連するものとして、Adobe は最近、定額制ソフトウェア「Premiere Pro」に Sora やその他のサードパーティ製 AI 動画ジェネレータモデルを追加することを検討していると発表した。しかし、この連携のスケジュールは未定であるため、Trillo 氏のワークフローを模倣したい人は、Runway や Pika などの他のサードパーティソフトウェアで AI ビデオクリップを生成し（Sora は非公開のままであるため）、それを保存して Premiere にインポートする必要がある。世界の終わりというわけではないが、シームレスとは言い難い。

Washed Out は、ロサンゼルスタイムズのインタビューの中で次のようにコメントしている。インタビューでは、使用された具体的なプロンプトについても触れている。

この真新しいテクノロジーのいくつかを取り入れることができるようになるのが楽しみだし、それがどのように私の作品に反映されるかを見るのが楽しみだ。だから、もしそれが先駆的なものであるなら、ぜひその一部になりたいんだ。

インタビューでは、使用された具体的なプロンプトについても触れている。

Greene 氏（Washed Out）は、映像そのものだけでなく、ショットのアングルや登場人物の動きなど、具体的なディテールを十分に盛り込んだプロンプトを書く必要があった。

「バブルが弾けて、バブルガムをズームして、広々としたフットボール場に入る。」「シーンは急速に動き、正面からの視点で、生徒たちが大きくなり、速くなる様子を映し出している。」

Trillo 氏はまた、別の場所で撮影または生成された静止画像を AI に送り込んで動きを加えるのではなく（急速に進化する AI 動画シーンでアーティストの間で人気のある戦術）、モデルのテキストから動画への機能のみを使用したことも投稿した。

この例は、AI を使ったメディア制作における Sora の力を示すものであり、カナダのクリエイティブスタジオ「Shy Kids」が制作した最初のデモ動画のひとつ「Air Head」（風船を頭に乗せた男）が、Adobe After Effects のロトスコープなど、他の VFX や動画編集ツールに大きく依存しているという最近明らかになった情報への再反証として役立つものだ。

また、他の多くのクリエイターが、この技術や特に OpenAI は搾取的であり、事前の同意や補償なしに人間の作品をスクレイピングしてトレーニングすることによって、人間のアーティストの著作権を侵害していると批判しているにもかかわらず、一部のクリエイターの間では、音楽においても動画においても、新しい AI ツールを使って自分自身を表現し、ストーリーを伝えようとする意欲が続いていることを示している。

【via VentureBeat】 @VentureBeat

【原文】