Qualcomm新チップ Snapdragon 888:3眼カメラを進化させる処理能力(2/3)

SHARE:

(前回からのつづき)Snapdragon 888最大の変更点の1つは、独立したAIアクセラレータよりもむしろHexagon 780プロセッサを含む異種混合AIアーキテクチャへの移行だ。26TOPSのパフォーマンス(これはA14Bionicの11TOPSや昨年のSnapdragon865の15TOPSと比べても圧倒的に速い)を謳う第6世代AIシステムには、これまでの16倍の専用メモリとTensorアクセラレータの2倍の演算能力が含まれる。新しい混合設計によってワットあたり最大3倍のパフォーマンスと、1,000倍速いハンドオフ処理が実現可能になる。

Qualcommによると、これらすべての処理能力は3つのレンズによる写真とビデオの一連の処理を改善させるために必要とされている。デバイスのすべてのカメラの処理を1つのイメージシグナルプロセッサに要求する代わりに、Spectra 580コンピュータビジョンプロセッサには3つのISPが搭載され、2800万画素の静止画像を30fps/秒でタイムラグなしに3枚撮影したり、4K HDR動画を3つ同時に撮影したりできる。

どちらの場合もカメラごとに個別のAIワークロードを使用する。正気ではないように聞こえるかもしれないが、新しいAI搭載カメラは3つのレンズを自動でモニタリングし、常に最適な焦点距離を維持し、1つのレンズのデータを基にして別のレンズでは人や物を除去し、複数のHDRイメージセンサーから合成されたビデオをリアルタイムで配信することを前提にしている。

後者の技術は自動車や防犯カメラ市場から携帯電話・タブレット市場に初めてもたらされたもので、コンピューショナル HDRのビデオキャプチャ—スタッガードHDRセンサーを使用した、長・中・短、同時露光の「エクストリームダイナミックレンジ」によるゴーストを抑えた動画撮影—を可能にする。写真は非常に暗い、たとえ0.1ルクスの場所でもキャプチャ可能で、10億色以上の10ビットHDRをサポートしている。 Spectra 580からは、35%の処理速度向上、2.7ギガピクセル/秒の処理能力、エクストリームスポーツやアクション写真用に毎秒120枚のフル解像度写真の連射撮影を可能にする十分なスループットという恩恵も受けられる。

画像処理に対する機械学習の重要性のもう1つの特徴は、オートフォーカス(Autofocus)、自動露出(Autoexposure)、自動ホワイトバランス(Auto white balance)を処理する、新チップの第10世代「3A」AIシステムに見られる。Qualcommはこの新しい3A AIシステムの学習のため、アイトラッキング機能付きのVRヘッドセットを画像解析技術者に装着してもらい、さまざまな照明やフォーカス条件で目が画像をどのように認識するかを記録した。現在このシステムは、単にコンピュータが理想的と判断する基準でキャプチャを最適化するのではなく、人間の知覚に基づいたガイダンスを使用して画像のフォーカスと露光を調整する。(次につづく)

【via VentureBeat】 @VentureBeat

【原文】