AI 動画がエンターテインメント業界に広がるペースが加速している。今週に入ってからだけでも、話題の1970年代を舞台にしたホラー映画「Late Night With the Devil（原題）」が AI タイトルカードを使用してレトロなグラフィックを作成していること（一部の視聴者には不評だが）や、3D AI アセット作成ツール「Stable Video 3D」のリリース、AI 動画スタートアップ Runway と広告代理店 Media.Monks の新しいパートナーシップ（後者のチームメンバーとクライアントが前者のテキストおよび画像から動画へのAIソフトウェアにアクセスできるようになる）などのニュースが入ってきた。

しかし、 Runway にはそれだけのニュースがあったわけではないようだ。ニューヨーク市を拠点とするこのスタートアップは21日、VentureBeat を通じて新しいパートナーシップを独占的に発表した。成功しているイタリアの音楽テックスタートアップ Musixmatch とチームを組むのだ。Musixmatch は、Spotify、Apple Music、Amazon Music、Facebook、Instagram、Tidal、Vevo などで、デバイス上の楽曲に同期したリアルタイムの歌詞を提供している。

このパートナーシップにより、Musixmatch を利用している100万人以上のミュージシャンやアーティストが、Runway の最新かつ最高の AI 動画生成モデル「Gen-2」にアクセスできるようになる。Gen-2 は、Multi Motion Brush や region selector などの機能を着実にアップグレードしてきた。

その狙いは、「クリエイターが自分の楽曲をダイナミックな動画コンテンツを通して大規模に、そして自分のクリエイティブなビジョンに沿って表現できるようにすること」だと、Runway がメールで提供したプレスリリースには書かれている。

つまり、ミュージシャンは Gen-2 を使って AI 動画を生成し、それを Musixmatch のプラットフォームを使って楽曲の歌詞と同期させることができるようになるのだ。これにより、アーティストやバンド、キャラクターを登場させる本格的なミュージックビデオとは対照的に、音楽に合わせて歌詞を表示する人気の「歌詞動画」の制作が迅速化される可能性がある。

ユーザはテキストや画像を使って Gen-2 にプロンプトを与えることができるが、「Lyrics to Video（歌詞から動画を作成できる）機能は、アーティストの歌詞を理解して、生成やプロンプトのプロセスを合理化する」と、Runway の広報担当者はメールで述べている。

ただし、この機能が利用できるのは、Musixmatch のサブスクリプション・ティアである Pro に登録しているアーティストに限られる。Pro は、月額2.99米ドル（年間36米ドルの請求）から。ユーザは Runway のアカウントを必要とせず、Runway の個別のサブスクリプション・ティアに料金を支払う必要もない。この新機能は、Musixmatch Pro の中で直接利用できるようになるとのことだ。動画が生成されたら、ユーザはそれをダウンロードしたり、ソーシャルアカウントなどの他のプラットフォームに公開したりすることができる。

すでに Musixmatch を通じて Gen-2 にアクセスし、歌詞動画を制作しているアーティストもいる。アトランタのトリップホップユニット「Earthgang」は、Runway の AI と Musixmatch の歌詞同期ソフトウェアを使って、楽曲「Osmosis」の以下の動画を制作した。

音楽の天国で結ばれたマッチ？

Runway の CEO Cristobal Valenzuela 氏はプレスリリースで次のように述べている。

Runway のモデルとクリエイティブな体験を、Musixmatch のユニークなアーティストとミュージシャンのコミュニティに直接提供できることを嬉しく思います。

Runway のモデルとツールは、これらのアーティストが動画を通じて自分のクリエイティブなビジョンをどのように表現するかを拡張し、世界中のリスナーや聴衆とより深いつながりを築くのに役立つでしょう。

有名な Apple のスローガンを引用しながら、Musixmach の製品責任者 Marco Paglia 氏は次のように述べた。

AI によって、単に『異なる考え方』をする新しい形のクリエイティビティが生まれていることがわかります。

今日、Musixmatch の歌詞から意味を抽出する独自の機能と、Runway のクラス最高の生成動画モデルによって、信じられないほど才能のある作詞家とミュージシャンたちは、動画を作る際に協力してくれる新しいアシスタントを得ることができます。これにより、より多くの音楽クリエイターが動画を制作し、この分野での継続的なイノベーションを推進することができるでしょう。これがまだ1日目だとしたら、未来がどうなるのか待ちきれません。

Runway の広報担当者は、両社の間には「相互の関心」があり、このチームアップの一環として AI トレーニングのためにデータを共有することはないと述べた。取引の財務条件は明らかにされていない。

大物アーティストたちはすでに AI を様々な結果で取り入れている

すでに、A$AP Rocky（エイサップ・ロッキー）、Madonna（マドンナ）、Ye（イェ、以前はKanye West カニエ・ウェスト）、Jared Leto（ジャレッド・レト）のロックバンド30 Seconds to Mars（サーティー・セカンズ・トゥ・マーズ）など、多くの有名アーティストが AI 動画生成プログラム（場合によっては Runway 自体）を使ってミュージックビデオやコンサートの背景ビデオを生成している。

また別の話題として、ラッパーの Nicki Minaj（ニッキー・ミナージュ）氏は、自身のアルバム「Pink Friday 2」のプロモーションに AI で生成した静止画を使用したことをめぐって、ソーシャルネットワーク X （旧 Twitter）のユーザと論争を起こした。

明らかに、音楽業界の多くの著名人がすでに AI を取り入れて自分の音楽にマッチする映像を提供しており、Runway はこの最新のパートナーシップによってその作業をさらに容易にしようと賢明に動いている。

Runway の着実な拡大の一環 ― 激化する競争に直面しながらも

同社はまた、Canva などの他のソフトウェアプロバイダとも提携し、自社の AI ビデオ生成モデルをそれらのプログラムに組み込み、より広い層にツールを紹介している。

Runway では、限られた数の無料動画生成を可能にしているが、それ以降は月額12米ドルから始まり、様々な階層で料金が上がっていく。このスタートアップは、他の投資家とともに Google から資金を調達している。

Runway は、その存在のほとんどの期間、特に2023年6月の Gen-2 のリリース以降、新興の AI 動画およびクリエイティブコミュニティから、AI 動画生成のゴールドスタンダードと広く見なされてきた。

しかし先月、OpenAI が自社モデルの「Sora」で作成したさらに写実的で滑らかで高速に動く動画をデモし、Runway の栄光を奪い、おそらくその王冠を奪ったかもしれない。ただし、そのモデルは現時点では OpenAI の従業員と指定されたクリエイティブパートナーのみがアクセスできる。

一方、別のライバル AI 動画生成スタートアップの Pika は、AI オーディオスタートアップ ElevenLabs が提供する「Lip Sync」機能など、新しいオーディオ生成機能を着実に追加している。これにより、Pika で生成された動画内のキャラクターが、アップロードされたオーディオやテキストから音声への AI クリップに合わせて口を動かすことができる。Pika は今月初め、独自のサウンドエフェクト生成モデルをさらに追加した。

また、静止画の生成に広く使用されているオープンソースの Stable Diffusion AI モデルを共同で作成した Runway の元パートナーである Stability AI も、オープンソースの動画生成モデル「Stable Video Diffusion」を提供している。

このように、Runway は今、急速に進歩するこの分野で、これらすべての新参者や競合他社に対して防御を行っている。そのパートナーシップは、競争力のある優位性を維持するのに役立つのだろうか。続報を待とう。

【via VentureBeat】 @VentureBeat

【原文】