BRIDGE

タグ xpression camera

VRアプリ開発のEmbodyMe、フェイク映像でテレカン参加できる「xpression camera」を発表

SHARE:

東京を拠点とする VR スタートアップの EmbodyMe は、人工知能(AI)を使うことで、リアルタイムに顔の動きをスキャンし、フェイク映像でテレカンに参加できるアプリ「xpression camera(エクスプレッションカメラ)」を発表した。登録招待制で、早期登録ユーザから順次ダウンロード可能になる。動作環境は、macOS 10.14 以上。 xpression camera は、ベースとなる…

東京を拠点とする VR スタートアップの EmbodyMe は、人工知能(AI)を使うことで、リアルタイムに顔の動きをスキャンし、フェイク映像でテレカンに参加できるアプリ「xpression camera(エクスプレッションカメラ)」を発表した。登録招待制で、早期登録ユーザから順次ダウンロード可能になる。動作環境は、macOS 10.14 以上。

xpression camera は、ベースとなる画像や映像を読み込ませることで、誰かになりきって、Zoom や Google Meet でのテレカン、Twitch や YouTube などでのライブストリーミングなどができるアプリ。映像を扱えるアプリからは xpression camera はカメラデバイスとして認識され、自分の表情を元にリアルタイム生成されたフェイク映像を取り込むことができる。

誰かになりきる用途以外にも、例えば、自分のスーツ姿の画像を使えば、すっぴんや寝巻き姿でテレカンに臨むことが可能だ。

EmbodyMe は2年前にも、今回の xpression camera と同じ技術を使ってモバイル向けの iOS アプリ「Xpression(エクスプレッション)」をローンチしている。カメラに映る自分の表情、元にする映像(なりきり先)の人の動きを分析し、GAN(Generative Adversarial Network、敵対的生成ネットワーク)で動画をリアルタイム生成する仕掛けは基本的に変わらない。

CEO でエンジニアの吉田一星氏によれば、EmbodyMe が xpression camera を開発した背景には、コロナ禍でテレカンが増えている現況がある。元にする画像や映像を自分のものにすれば、ユーザは声を発するだけでよく、相手にはあたかもユーザ本人が直視して応対してくれているように見えるので、ユーザは家事をしながら、極論すれば、風呂に入りながら、といった飛び芸も可能になる。

「xpression camera」を使い、Elon Musk 氏になりきる EmbodyMe CEO の吉田一星氏
Image credit: EmbodyMe

吉田氏は xpression camera について、ユーザにとって、場所の制約をなくせる点に可能性を感じていると語った。現在は顔の表情のみのリアルタイム生成だが、将来は、身体の動き全体の模写生成も実装を検討しているとのこと。このアイデアは、同社が3年半前に公開した VR アプリ「EmbodyMe」で具現化されているため、そう遠くない将来に現実化できるだろう。

顔の表情や身体の動きを完全に VR 再現できれば、人は場所や身体といった物理的な制約から解放される。(吉田氏)

EmbodyMe では xpression camera を無料公開するが、吉田氏は、ビジネス向けのリモートカスタマーサービスやインサイドセールス、次世代ファッション、Virtual YouTuber やデジタルツインなどでの活用の可能性を示唆した。xpressioin camera の事業戦略は、テレカンをよりリアル会議に近いものにすることを標榜する「mmhmm」のそれに似ていて、ユーザの反応を見ながら、どの分野に刺さるかを見極め、その分野に向けた商品開発でマネタイズを図る計画のようだ。

EmbodyMe は2016年6月、〝未踏エンジニア〟の吉田氏をはじめ、ヤフー出身のエンジニアやデザイナー3名により設立(当時の社名は Paneo)。2017年にはインキュベイトファンドから9,000万円を資金調達し、Tokyo VR Startups(現在の Tokyo XR Startups)の第3期に参加した。

昨年には、DEEPCORE、インキュベイトファンド、Deep30(東京大学松尾研究室のスピンアウト VC)、Techstars、SMBC ベンチャーキャピタル、漆原茂氏、 NEDO(国立研究開発法人新エネルギー・産業技術総合開発機構)から2.3億円を調達した