リアル人間を「バーチャルヒューマン化」決め手の顔スキャン技術「Plenoptic Stage」とは

SHARE:
Image credit: Deemos(影眸科技、Shadow Eye Technology)

ピックアップ:影眸科技宣布完成数千万元Pre-A轮融资,红杉中国种子基金领投

ニュースサマリ:高精度顔面スキャン技術を持つ Deemos(影眸科技、Shadow Eye Technology)が4月8日、プレAラウンドで数億円の資金調達を実施した。Sequoia Capital China(紅杉資本)がリードし、既存株主の MiraclePlus(奇績創壇)も追加出資した。上海科技大学のインキュベーションプログラムから誕生し、同大学で開発した「Plenoptic Stage(穹頂光場)」の知的財産権を保有している。調達した資金は採用と基盤技術の開発と実用化などに使われる。

話題のポイント:今後バーチャルヒューマンを作成する上で欠かせない技術となってくるのが3Dスキャンです。現在すでに写真測量に基づくカメラアレイを用いた3Dスキャンソリューションはありふれていて、自身のフィギュア作成からワコールによる下着のフィッティング用サービスなど実用化されてる事例が数多く存在します。

しかし、我々が一般的に使用できるサービスで不気味の谷を超えて、映画やゲームのように本物の人間がバーチャル空間にいるような体験をしたことがある人はあまりいないのではないでしょうか。

Deemos チームが開発した「Plenoptic Stage」
Image credit: 上海科技大学 信息与技術学院

というのも、今のところメタバースは SNS の要素を多分に含んで成長していますが、VRchatや8月にフランスとスペインでも提供が始まった Meta の「Horizon Worlds」など、日常的な会話からネットワーキングまで、コミュニケーションをする場で使用するアバターはデフォルメされたものがほとんどだからです。バーチャル空間では自由な姿でという一面もあると思いますが、ビジネスで使用する機会があることを前提にするのであれば、リアルの姿でバーチャル空間に存在したいというシチュエーションがやってきてもおかしくはありません。

「Plenoptic Stage」でスキャンした人の顔。肌の細孔の状態まで読み取ることができる。
Image credit: 上海科技大学 信息与技術学院

そういったバーチャル空間にいる時の身体の選択肢を増やしてくれる技術が Deemos が開発した、マイクロメートル単位で顔をスキャンできる「Plenoptic Stage」です。ドームライトフィールドスキャン方式と呼ばれる球体上に設計されたドームのさまざまな角度から光を当て、偏光分布を取得することで顔の表面の状態を中程度の細孔レベルでスキャンできます。肌は光の当たり方で鏡のように反射する部分もあれば、陰にある部分が不規則にあるので、自然な感情表現をして相手に伝わるようにするには細孔レベルで動くモデルが必要になってきます。

Deemos の凄さはスキャン技術の開発、AIと計算写真学、CG の技術を組み合わせを実現したこと。もう一つ、高スペックなPCを用意して動かす Maya や Blender だけでなく、リアルタイムエンジンの Unity や Unreal Engine でも使える点です。記事にもある通り、SaaS モデルで市場投入する構想のようで誰でも気軽にとは言えないまでも、限られたプロフェッショナルだけでなく多くのユーザーに届くことになるでしょう。

via Langinger(藍鯨財経)

Members

BRIDGEの会員制度「Members」に登録いただくと無料で会員限定の記事が毎月10本までお読みいただけます。また、有料の「Members Plus」の方は記事が全て読めるほか、BRIDGE HOT 100などのコンテンツや会員限定のオンラインイベントにご参加いただけます。
無料で登録する