Epic Games は、開発者が iPhone と PC だけで高品質に人間の顔をキャプチャできるツール「MetaHuman Animator」を発表した。こちらの男の動画を見てもらえばわかるように、シミュレートされた人間を作ることができるのは、かなりすごいことだ。

このツールは、高品質のフェイシャルアニメーションを数分で提供することができるという。GDC 2023 で初公開された、高速で簡単なデジタルヒューマンパイプラインの最新バージョンは、MetaHumans に高忠実度のパフォーマンスキャプチャをもたらした。

MetaHuman Animator は、iPhone やステレオヘッドマウントカメラシステム（HMC）を使って俳優の演技をキャプチャし、高忠実度のフェイシャルアニメーションとして MetaHuman キャラクター上に適用できる機能を備えており、手動での介入を必要としない。

Epic Games は、あらゆる微妙な表情、視線、感情を正確にとらえ、デジタルヒューマンに忠実に再現でき、シンプルでわかりやすいため、誰でも驚くような結果を出すことができるという。

パフォーマンスキャプチャを初めて使う場合、MetaHuman Animator は、実際のパフォーマンスに基づいて MetaHumans にフェイシャルアニメーションを持たせる便利な方法だ。

また、すでにパフォーマンスキャプチャを行っている場合、この新機能セットは、既存のキャプチャワークフローを大幅に改善し、時間と労力を削減し、よりクリエイティブなコントロールを可能にする。MetaHuman Animator を既存の縦型ステレオヘッドマウントカメラと組み合わせることで、さらに忠実なビジュアルを実現することが可能だ。

詳細

以前は、俳優の演技のニュアンスを忠実にデジタルキャラクターに再現するために、専門家チームが数ヶ月を要していた。しかし、MetaHuman Animator は、その大変な作業をほんのわずかな時間で、しかもはるかに少ない労力で行ってくれる。

この新機能は、4D ソルバーを使用して、ビデオと深度データ、およびパフォーマーの MetaHuman 表現を組み合わせている。アニメーションは GPU ハードウェアを使ってローカルで制作され、最終的なアニメーションは数分で利用できる。

それはすべて、ボンネットの中で起こることだ。開発者はカメラを俳優に向け、録画ボタンを押すだけなのだ。撮影が終わると、MetaHuman Animator は、俳優の演技の個性やニュアンスをMetaHuman のキャラクターに正確に再現する。

さらに、アニメーションデータは、適切なリグコントロールを使用した意味的に正しいものであり、時間的にも一貫性があり、コントロールの遷移もスムーズなので、アニメーションを微調整したい場合でも、アーティスティックな調整が簡単にできる。

Blue Dot の映像

Epic Games の 3Lateral チームが地元セルビアのアーティストと共同で制作したショートフィルム「Blue Dot」で、その実力を見せつけた。俳優の Radivoje Bukvić 氏 は、Mika Antic 氏の詩に基づいたモノローグを披露している。このパフォーマンスは、Take One スタジオのモーションキャプチャステージで撮影され、Ivan Šijak 氏が撮影監督を務めた。そして、その結果、映像の中の人間はアニメーションになったのだ。

この結果は、MetaHuman Animator をステレオヘッドマウントカメラシステムと従来の映画制作技術で使用した場合に、アーティストや映画制作者が期待できる忠実度の高さを示している。

MetaHuman Animator の成果に加えて、最小限の介入で素晴らしいレベルのアニメーション品質を実現することができた。

MetaHuman のフェイシャルアニメーション

Epic Games によると、MetaHuman Animator を使って開発者が撮影したフェイシャルアニメーションは、数クリックで MetaHuman キャラクターや新しい MetaHuman 顔描写規格を採用したキャラクターに適用することができるそうだ。

つまり、開発者が好きなようにキャラクターをデザインし、それに適用されるフェイシャルアニメーションが機能することを確信できるのだ。

技術的な話になるが、Mesh to MetaHuman は、たった3フレームの動画と、iPhone で撮影した深度データ、あるいは縦型ステレオヘッドマウントカメラのデータを使って再構成した MetaHuman Identity を作成することができるようになったため、それが可能になった。

これにより、俳優に合わせてソルバーをパーソナライズし、MetaHuman Animator はどんな MetaHuman キャラクターにも対応するアニメーションを作成することができる。また、音声を利用して、説得力のあるリップリンクしたアニメーションを作成することも可能だ。

キャプチャに iPhone を使用

Epic Games は、フェイシャルパフォーマンスキャプチャを、ハイエンドキャプチャシステムを持つ専門家だけが実現できるものから、すべてのクリエイターのためのものに変えたいと考えている。

MetaHuman Animator は、iPhone（12以上）とデスクトップPCだけで、最もシンプルに使用することが可能だ。これは、Live Link Face iOS アプリをアップデートして、ビデオと深度データをキャプチャし、デバイスから直接 Unreal Engine に取り込んで処理するようにしたため、可能になった。

また、MetaHuman Animator を既存の縦型ステレオヘッドマウントカメラシステムと組み合わせて使用することで、より忠実な映像表現を実現することができる。

iPhoneでもステレオステレオヘッドマウントカメラでも、MetaHuman Animator はキャプチャワークフローのスピードと使いやすさを向上させる。これにより、開発者は、撮影の要件や開発者が求めるビジュアル忠実度に最適なハードウェアを柔軟に選択することができる。

撮影したアニメーションデータはタイムコードに対応しているため、フェイシャルパフォーマンスアニメーションをボディモーションキャプチャやオーディオと簡単に連携させることができ、キャラクターのフルパフォーマンスを実現する。

撮影現場でのクリエイティブな選択にも最適

MetaHuman Animator は、MetaHuman のキャラクタにフェイシャルアニメーションを高速で処理・転送できるため、セットでのクリエイティブな反復作業に最適だ。

撮影中にアニメーションデータを Unreal Engine 上で確認できるため、最終的なキャラクターがアニメーション化される前に、キャプチャの品質を十分に評価することが可能だ。

また、俳優がステージにいる間に再撮影を行うことができるため、開発者は、後日全員を呼び戻すのに必要なコストと時間を吸収する代わりに、その場で最高のテイクを手に入れることができるようになった。

【via VentureBeat】 @VentureBeat

【原文】