AI映画のPika、ElevenLabsのクローン音声が使えるセリフのリップシンク機能をリリース - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

OpenAI が高品質な AI 動画生成モデル「Sora」の新しいデモ例を公開し、感動を与え続けているが、今のところまだ一般には手が届かない。しかし、既存の動画生成 AI 企業も手をこまねいているわけではない。27日、競合の Pika が有料会員向けに新機能「Lip Sync」のリリースを発表した。

この機能により、ユーザは、別の音声生成 AI スタートアップである ElevenLabs から AI が生成した音声を使って、動画に話し言葉の台詞を追加することができ、また、台詞に合わせて話し手の口が動くように、マッチングアニメーションも追加することができる。

(Literal) shout out to our friends at @elevenlabsio for powering the voice generation portion of this feature.

— Pika (@pika_labs) February 27, 2024

ElevenLabs のパワーにより、Pika の新機能「Lip Sync」は、テキストからオーディオへの変換とアップロードされたオーディオトラックの両方をサポートしている。つまり、ユーザは Pika の AI が生成した動画キャラクターに言わせたいことを入力したり録音したりすることができ、それを言う声のスタイルを変更することができる。

Ok, this is dope @pika_labs just dropped lip syncing

You can use text-to-audio or upload a file to make your vids say exactly what you want 👀🗣️

pic.twitter.com/cdoPW1w7wH

— Nick St. Pierre (@nickfloats) February 27, 2024

上にある通り、この機能は今のところ「早期アクセス」として、Pika Pro ユーザ（月額58米ドルのサブスクリプションで、12ヶ月分前払いで696米ドル）か、Pika の Discord グループを通じて利用できる招待制プログラム「Super Collaborators」のメンバーに限定されている。

完全な AI 物語映画への大きな障壁を取り除く

Pika の AI 生成ビデオは、OpenAI の Sora や、もうひとつのライバル AI 動画生成スタートアップである Runway が披露したものよりも、間違いなく低品質で「リアル」ではないものの、新機能「Lip Sync」の追加により、従来の映画制作ソフトウェアを破壊する機能を提供するという点で、Pika は両社をリードしている。

Lip Sync によって、Pika は AI がより長い劇映画の制作に役立つために残された最後の障壁のひとつに取り組んでいる。他のほとんどの主要な動画生成 AI は、現在まだ同様の機能をネイティブで提供していない。

その代わりに、AI 動画内のキャラクターに話し言葉の台詞を追加したり、唇の動きを合わせたりするために、ユーザはサードパーティ製のツールを使ったり、ポストプロダクションで面倒な追加をしたりしなければならなかった。そのため、出来上がった動画は「低予算」で Monty Python（モンティ・パイソン）のようなクオリティになってしまう。

これとは別に、半ば関連して、今週 Runway はマルチモーションブラシ機能もアップデートした。この機能は先月導入されたもので、ユーザは動画内のさまざまなオブジェクトや風景に、最大5つの独立したモーションの方向を追加することができる。例えば、犬が飛び上がって（1）、横に動くフリスビーをキャッチする（2）といった具合だ。Runway には領域検出が追加され、これにより、ユーザが手動でブラシでペイントすることなく、モーションを適用するさまざまなオブジェクトを自動的にハイライトし、選択することができるようになる（ただし、ユーザが望めばペイントすることは可能）。

📢 NEW: Motion Brush Region Detection in @runwayml

Motion Brush has recieved a QoL update! Now, you can automatically select areas in your image without manually brushing over them!

Share your top Motion Brush videos below! 👇🏼 pic.twitter.com/eYFuyggvKS

— Nicolas Neubert (@iamneubert) February 27, 2024

Pika は、ユーザが動画のコンポーネントを編集したり、キャンバスを拡大したりすることもできるが、現時点では同様のブラシツールは提供されておらず、モーションコントロールの粒度は低くなっている。

AI 動画トレーニングデータにはまだ懸念と疑問が渦巻いている

しかし、誰もが Pika の新機能に興奮したわけではない。Fairly Trained という新しい AI 認証 NPO（AI モデルがクリエイターやデータ所有者の同意を得て、彼らの作品でトレーニングすることを保証することを目的とする）の CEO 兼創設者であり、自身も以前は Stability AI でオーディオ担当副社長を務めていた Ed Newton-Rex 氏は、Pika の新機能「Lip Sync」を機に、同社が動画モデルを何でトレーニングしたのかを X に問い合わせた。

What is your video model trained on?

Lots of creators are concerned their work is being exploited without their permission. Clarity on the data you've used would greatly allay their concerns.

— Ed Newton-Rex (@ednewtonrex) February 27, 2024

このような疑問や懸念にかかわらず、動画生成 AI 各社は、新機能やこれまで以上に高品質な動画生成の導入を減速する気配はなく、まさに「軍拡競争」をもたらしている。この技術を使うユーザにとっては良いことだが、脚本家・映画監督の Tyler Perry 氏は、Sora が作成した動画を見た後、この技術によって雇用が失われると予想し、自身のプロダクションスタジオの8億米ドルの拡張計画の中止を発表し、大きな批判を浴びた。

＜関連記事＞