AI グラスを開発する Brilliant Labs は、マルチモーダル AI アシスタントを内蔵した世界初のメガネ「Frame」を発表した。

このウェアラブル技術の飛躍は、AR のパイオニアであり、ポケモン GO を開発した Niantic の CEO John Hanke 氏 からの大きな支援と相まって実現した。Brilliant Labs は現在までに600万米ドルを調達している。

ポケモン GO で得た富が、AI グラス業界を助けるために戻ってきたのだ。

現在、アドバイザーや投資家には、Coho VC、Brendan Iribe 氏（Oculus の共同創業者）、Adam Cheyer 氏（Siri の共同創業者）、Eric Migicovsky 氏（Pebble の創業者）、Steve Sarowitz 氏（Paylocity の創業者、Wayfarer Studios の会長）、Nirav Patel 氏（Oculus の元コアチームメンバー、Framework の創業者）、Francisco Tolmasky 氏（初代 iPhone チームのメンバー）、Plug and Play Ventures、Moveon Technologies が名を連ねている。

元 Apple 幹部で Brilliant Labs CEO の Bobak Tavangar 氏のリーダーシップの下、Frame は日常生活のパラダイムシフトと呼ぶものを導入した。「アイアンマン」の J.A.R.V.I.S.のような常時稼働の AI アシスタント「Noa」を搭載した Frame は、私たちが世界を認識する方法を変えるだけでなく、物理的環境との相互作用も再定義する、と同社は述べている。

Tavangar 氏は声明で次のように述べた。

Frame は、人間とデジタル世界、そして人間同士の接し方に新たなパラダイムを提供します。全く新しい種類の AI バーチャル・アシスタントである Noa は、ユーザが自分の周りの世界とより深く関わることを可能にします。私たちの願いは、Frame がまったく新しい方法で人々が互いにつながることを可能にし、日常生活、職場、教室などで新しい経験を切り開いていくことです。これこそが、生成 AI を人間の目の前にもたらすユニークな約束なのです。

GPT4、Stability AI、Whisper AI モデルを同時に実行できる統合マルチモーダル生成 AI システムを搭載した Noa は、実世界の視覚処理、斬新な画像生成、リアルタイムの音声認識と翻訳を行う。フレームのマルチモーダリティは、複数の AI システムのコラボレーションを可能にし、日常生活におけるこの技術の無限の応用を解き放つ。

Frame は単なる技術的驚異ではなく、ファッションステートメントでもある。John Lennon 氏、Steve Jobs 氏、ガンジーなど、象徴的な円形のメガネをかけながら文化を形成した歴史上の人物に敬意を表している。Frame は高度なテクノロジーを軽量でスタイリッシュなパッケージにシームレスに統合しており、従来の眼鏡とほとんど見分けがつかない。

AR（拡張現実）機能そのものはない。むしろ、フレームは AI 内蔵メガネとして設計されており、アウトプットを見たり、メガネを LLM の実世界のインプットとして使うことができる。通常は、例えば ChatGPT にコンテンツを入力したり、アップロードしたりして、実際にインターフェイスとして使用する。今、あなたのメガネに LLM があれば、実世界の入力（あなたが見ているもの、あなたが聞いているもの、あなたが今いる場所など）を通して、LLM を促すことができる。

個性を持ったマルチモーダル AI アシスタント

Feame の洗練された外観の下には、他に類を見ない常時稼働型の AI アシスタント、Noa が搭載されていると同社は述べている。Noa は、プライバシーを保護するナレッジグラフを通じて、ユーザと AI アシスタントの複合的な相互作用を分析することで、独自の個性を進化させ、採用する。

起動すると、ユーザは Noa をバーチャルペットを思わせる孵化準備の整ったデジタル「卵」として紹介される。一連の質問に答えることで、Noa のアバターはユーザの個性と Noa が採用するペルソナを反映したキャラクターに成長する。この個性は、Noa が学習し、ユーザと Noa が受けるタスクの両方に適応するにつれて明らかになる、と Brilliant Labs は述べている。

Noa の機能は、本の要約や外国語の翻訳、同僚とのホワイトボードセッションの構成にまで及ぶ。フレームに内蔵されたマルチモーダル生成 AI は、感情や顔の表情を視覚的・聴覚的に測定するような高度なタスクのために、複数の AI システムを編成することができる。

個人的な支援にとどまらず、同社は、フレームが AI 強化メガネ時代の検索エンジンの概念を再定義するとも述べている。Noa は、小売店で衣料品をスキャンすることで即座に価格チェックを行ったり、家探しの際にちらっと見るだけで家の物件を特定したりすることができる。その可能性は広大で、人間の相互作用や経験を向上させることが期待されている。

メガネと見分けがつかないデザイン

重さわずか39グラムの Frame は、快適さと耐久性を追求したエンジニアリング・グレードのナイロンプラスチックを使用している。スモーキーブラック、マットクールグレー、H2O と名付けられた透明なカラーバリエーションなど、クラシックなヴィンテージスタイルで展開される Frame は、どんなワードローブのスタイルにもフィットする。

このデバイスは、3,000ニットの輝度を持つ高解像度の鮮やかなディスプレイ、前面空間カメラ、内蔵マイク、高度な機能のための6DoF IMU を備えている。

AddOptics との提携により提供される処方箋レンズは、独自の光学レンズキャストプロセスにより Frame にシームレスに接合することができる。Frame は2024年3月に小売価格300米ドルで予約販売が始まる。

開発者向けオープンソースモデルの継続

同社の前製品である Monocle は、最初の注文がすべて完売した。現在、Brilliant Labs は、コンシューマーと開発者の両方に向けて、Frame の販売と入手に注力している。

Brilliant Labs は、Frame がその前身である Monocle の足跡をたどるように、オープンソースのデバイスにコミットしていると述べた。開発者は、Brilliant Labs が提供する生きたドキュメント、オープンソースのコードベース、ハードウェアの回路図を含む完全なリソースを使用して、フレームのハードウェアとソフトウェアの両方を探求し、変更することができる。Noa がサポートする AI モデルのパラメータも、開発者が調整することができる。

Siri の共同創設者であり、Brilliant Labs に投資している Adam Cheyer 氏は声明の中で次のように述べた。

Monocle に始まり、今回の Frame の発表に至るまで、Brilliant Labs の画期的な進歩は感動的なものです。Brilliant Labs の Frame は、美しく、日常的に使える実用的なデザインで、社会のあり方を変える新しい時代を切り開く第一歩となるでしょう。Frame は、組み込まれた AI アシスタント Noa の助けを借りて、情報を整理し、アクセスし、行動する人間の能力を高めることができます。 その拡張可能でオープンな AI プラットフォームを通じて、Brilliant Labs は、iPhone 時代の始まりを彷彿とさせるようなハンズフリー・アプリケーションの新しい波を導入する可能性があります。

Brilliant Labs は、元 Apple 社員の Tavangar 氏が共同創業者の Raj Nakarja 氏と Ben Heald 氏とともに2019年に設立した。同社には3人の従業員がいる。

動画に関しては、Frame は動画撮影と写真撮影ができる。しかし、それは主にマルチモーダル AI 機能を使うためであり、Snapchat の Spectacles のようなものではない。例えば、友人の似顔絵をリミックスしたい場合、その人の方向を見て写真をスナップし、フレームがどのように彼の似顔絵をリミックスすべきかを命令することができる。

Frame は（Noa を介して）GPT4と Stability AI による Stable Diffusion を利用し、そのショットの新しいバージョンを作成する。Frame は、Snapchat や Meta のように画像や動画を保存することはしない。つまり、動画や写真の目的は AI 機能のためであり、ソーシャルメディアの用途ではない。

【via VentureBeat】 @VentureBeat

【原文】