AI映画のPika、ElevenLabsのクローン音声が使えるセリフのリップシンク機能をリリース

SHARE:
Image credit: Pika Lab

OpenAI が高品質な AI 動画生成モデル「Sora」の新しいデモ例を公開し、感動を与え続けているが、今のところまだ一般には手が届かない。しかし、既存の動画生成 AI 企業も手をこまねいているわけではない。27日、競合の Pika が有料会員向けに新機能「Lip Sync」のリリースを発表した

この機能により、ユーザは、別の音声生成 AI スタートアップである ElevenLabs から AI が生成した音声を使って、動画に話し言葉の台詞を追加することができ、また、台詞に合わせて話し手の口が動くように、マッチングアニメーションも追加することができる。

ElevenLabs のパワーにより、Pika の新機能「Lip Sync」は、テキストからオーディオへの変換とアップロードされたオーディオトラックの両方をサポートしている。つまり、ユーザは Pika の AI が生成した動画キャラクターに言わせたいことを入力したり録音したりすることができ、それを言う声のスタイルを変更することができる。

上にある通り、この機能は今のところ「早期アクセス」として、Pika Pro ユーザ(月額58米ドルのサブスクリプションで、12ヶ月分前払いで696米ドル)か、Pika の Discord グループを通じて利用できる招待制プログラム「Super Collaborators」のメンバーに限定されている。

完全な AI 物語映画への大きな障壁を取り除く

Pika の AI 生成ビデオは、OpenAI の Sora や、もうひとつのライバル AI 動画生成スタートアップである Runway が披露したものよりも、間違いなく低品質で「リアル」ではないものの、新機能「Lip Sync」の追加により、従来の映画制作ソフトウェアを破壊する機能を提供するという点で、Pika は両社をリードしている。

Lip Sync によって、Pika は AI がより長い劇映画の制作に役立つために残された最後の障壁のひとつに取り組んでいる。他のほとんどの主要な動画生成 AI は、現在まだ同様の機能をネイティブで提供していない。

その代わりに、AI 動画内のキャラクターに話し言葉の台詞を追加したり、唇の動きを合わせたりするために、ユーザはサードパーティ製のツールを使ったり、ポストプロダクションで面倒な追加をしたりしなければならなかった。そのため、出来上がった動画は「低予算」で Monty Python(モンティ・パイソン)のようなクオリティになってしまう。

これとは別に、半ば関連して、今週 Runway はマルチモーションブラシ機能もアップデートした。この機能は先月導入されたもので、ユーザは動画内のさまざまなオブジェクトや風景に、最大5つの独立したモーションの方向を追加することができる。例えば、犬が飛び上がって(1)、横に動くフリスビーをキャッチする(2)といった具合だ。Runway には領域検出が追加され、これにより、ユーザが手動でブラシでペイントすることなく、モーションを適用するさまざまなオブジェクトを自動的にハイライトし、選択することができるようになる(ただし、ユーザが望めばペイントすることは可能)。

https://twitter.com/iamneubert/status/1762407001244471697

Pika は、ユーザが動画のコンポーネントを編集したり、キャンバスを拡大したりすることもできるが、現時点では同様のブラシツールは提供されておらず、モーションコントロールの粒度は低くなっている。

AI 動画トレーニングデータにはまだ懸念と疑問が渦巻いている

しかし、誰もが Pika の新機能に興奮したわけではない。Fairly Trained という新しい AI 認証 NPO(AI モデルがクリエイターやデータ所有者の同意を得て、彼らの作品でトレーニングすることを保証することを目的とする)の CEO 兼創設者であり、自身も以前は Stability AI でオーディオ担当副社長を務めていた Ed Newton-Rex 氏は、Pika の新機能「Lip Sync」を機に、同社が動画モデルを何でトレーニングしたのかを X に問い合わせた。

このような疑問や懸念にかかわらず、動画生成 AI 各社は、新機能やこれまで以上に高品質な動画生成の導入を減速する気配はなく、まさに「軍拡競争」をもたらしている。この技術を使うユーザにとっては良いことだが、脚本家・映画監督の Tyler Perry 氏は、Sora が作成した動画を見た後、この技術によって雇用が失われると予想し、自身のプロダクションスタジオの8億米ドルの拡張計画の中止を発表し、大きな批判を浴びた。

<関連記事>

【via VentureBeat】 @VentureBeat

【原文】

BRIDGE Members

BRIDGEでは会員制度の「Members」を運営しています。登録いただくと会員限定の記事が毎月3本まで読めるほか、Discordの招待リンクをお送りしています。登録は無料で、有料会員の方は会員限定記事が全て読めるようになります(初回登録時1週間無料)。
  • 会員限定記事・毎月3本
  • コミュニティDiscord招待
無料メンバー登録