Googleは10日、Pixel4またPixel4 XLにビルトインされるuDepthを利用した、リアルタイム・ポイントクラウドを可視化するデモアプリをリリースした。同技術は機械学習を利用し、なりすましによる悪用を防ぐことができるとする。背景のぼかしや、ポートレート機能、3D写真など数多くの機能を持つ。

uDepthはPixel4シリーズにのみ配信されることが想定される。しかし、同技術はロボット工学など、正確な深度センシングが求められるエリアにて応用されることが予期できる。また、コンピュータービジョンへの応用、ロボットによるプロセスオートメーション等に応用されることも期待できるだろう。

uDepthはつい先日にAPIとして公開され、Pixel4のカメラアプリにあるSocial Media Depth設定の項目から利用可能だ。同技術は赤外線パターンプロジェクター、また同デバイス専用のニューラルチップ（Pixel Neural Core）を利用している。奥行きを保ったフレーム生成のため、1つ目のカメラで画像における周辺領域をキャプチャーし、2つ目のカメラで共通領域を探し出す。これらにより検出されたデータに対し赤外線パターンを投影することで、各領域を識別しやすくする仕組みとなる。

領域識別の際、uDepthは相互に重なり合っていない画像タイルを比較し、それぞれの深層度を比較している。（機械学習を利用し、明るさと隣接情報をモデリングすることで、1.5ミリ秒/フレーム以下で修正を実施する）。

またuDepthではカラー画像、人物識別、深度を組み合わせたAIモデルを活用し、3Dにおける深度マップを推定する。Googleによれば、同モデル作成に際しては、高解像度の配列カメラ、331個のLED照明、高解像度深度センサーを備えた設備を用意し学習を繰り返したという。

uDepthソフトウェアリードのMichael Schoenberg氏・GoogleリサーチのAdaesh Kowdle氏は同社ブログにて以下のように述べている。

「深度センシングと呼ぶ、3D情報の測定を実施する技術は開発者・ユーザーどちらにも有益で貴重なツールです。しかし、典型的なRGBベースの技術では計算コストが高く、テクスチャーの低い環境や、明かりが少ない環境ではではうまく動作しない可能性がありました。Pixelでは、高速かつ暗闇での動作が求められていたため、今回のようなアプローチが望ましいという結論に至りました」。

※本稿は提携するVentureBeatの記事の抄訳

【via Venture Beat】

【原文】