本稿はKDDIが運営するサイト「MUGENLABO Magazine」に掲載された記事からの転載

2024年6月、アメリカ・ロングビーチで開催された世界的なARカンファレンス「AWE USA 2024」において、KDDI、palan、Pixelynxの3社がそれぞれが持つ技術やプラットフォームを連携させたシステムのデモを披露しました。このデモは、ARコンテンツ制作の世界に新たな可能性をもたらすものとして注目を集めています。

このシステムは、PixelynxのAI搭載音楽プラットフォーム「KORUS」の機能をKDDIの「αU on cloud」を介してpalanのAR作成プラットフォーム「palanAR」に連携することで実現しました。これにより、専門的なコーディング知識がなくても、高品質な音楽XR体験をユーザーは簡単に生成することが可能になります。

注目すべきは、この取り組みが「αU on cloud」の初めての提供事例となる点です。この取り組みの立役者である、KDDI 先端技術統括本部 先端技術企画本部 先端技術戦略部 エキスパートの下桐希氏、palanのCEO齋藤瑛史氏と共同創業者でCDOの佐々木彩花氏、Pixelynx CEOのInder Phull氏に話を伺いました。

αU on cloud とは何か

KDDIは今年2月「αU on cloud」を発表しました。これは従来から提供しているメタバース・Web3サービス「αU」とさまざまな最先端の生成AIモデルを連携し、企業むけに提供するものです。αU on cloudでは、例えば、服の画像1枚から試着イメージを生成するショッピング体験や、音楽ライブ映像の空間演出をリアルタイムに生成するエンタメ体験などが可能になります。

KDDIはこのサービスを通じて、企業のXR体験創出を支援し、生成AI技術の活用を促進することを目指しており、スタートアップには「KDDI ∞ Labo」を通じ、大企業とのマッチングや開発支援も提供されます。

ノーコードARプラットフォーム「palanAR（パラナル）」

今回、αU on cloud と組むことになったpalanは、2016年に創業したARに特化したスタートアップです。Webのサイトやシステムの受託開発や運営のほか、自社サービスとして、コードを書かずにWebARを作成できる「palanAR（パラナル）」 を提供しています。

palanは、ARのリテラシーがない人でもARに参加できる素晴らしい方法を提供しています。WebARだけでなく、ARデバイスでもコンテンツを公開することができます。

palanARが他のサービスと決定的に違うのは、ノーコードだということです。ユーザーはARを使ったことがない人ばかりですが、オンラインでpalanARを利用するだけで、AR体験できることに驚くのです。（佐々木氏）

私たちは、世界中の人々がARを使って自己表現をし、そのコンテンツが日本中、世界中どこでも閲覧できる環境を作ろうとしています。この取り組みの中で、コンテンツを配置できるユースケースを強化していきたいと考えています。

ユースケースの一つとして、観光用途を拡大していきたいと考えています。そのために、自治体や一般クリエイター方がARコンテンツを制作する際の障壁を下げることが重要です。今回の取り組みによって、この障壁がさらに低くなることを期待しています。（齋藤氏）

Pixelynxの音楽IP管理と新しい表現方法

Pixelynxは、音楽IPの管理とクリエイターのための新しい表現方法を提供するツール「KORUS」を開発しています。音楽業界に造詣の深いCEOの Inder Phull氏は2020年にPixelynxを創業し、その後、2022年12月に世界的なWeb3企業Animoca Brandsに買収されました。

私たちはAnimoca Brandsのエコシステムの一部であり、クリエイターが新しい方法で自分自身を表現し、ファンと共に成長できるような製品やツールのエコシステムを構築しています。

この会社は、私のほかに、アーティストのdeadmau5（発音はデッドマウス、本名Joel Thomas Zimmerman氏）、Richie Hawtin氏、そして彼ら両アーティストのマネージメントチームによって設立されました。つまり、アーティストのための、アーティストによる、クリエイターを守り、新しいテクノロジーを使って新しい表現形式を解き放つことに焦点を当てた会社なんです。（Phull氏）

Pixelynxの技術がαU on cloudに連携されることで、権利クリア済みの音楽をARコンテンツに簡単に組み込むことが可能になり、将来的にはバーチャルライブコンサートなどの新しい形式のコンテンツ配信が実現できる可能性があります。Phull氏は、今回の連携によって期待される未来について、次のように語っています。

私たちは、バーチャルアーティストのためのツールや、ブラウザ上のフォーマットとしての「VRM（Virtual Reality Model）」を開発しています。KDDI、その他のパートナーと一緒に、これらのバーチャルライブコンサートのいくつかを、例えばpalanのようなエコシステムにどのように配信できるかを考えています。（Phull氏）

3つの仕組みが繋がることで実現できること

メタバース・Web3サービス × 生成 AI のプラットフォームである「αU on cloud」、AR のプラットフォームである palan、そして、音楽IPプラットフォームのPixelynxは、なぜ手を結ぶことになったのでしょうか。

KDDIの下桐氏は、この取り組みでpalanのプラットフォームで何ができるか、αU on cloudを使うと何ができるかを、同時に体験できる機会を作りたかったと言います。その話しっぷりには、ARを新しい技術の紹介としてだけでなく、実際の日常的に役立つサービスに昇華させていきたい、という意気込みが感じられました。

XRコンテンツの制作には元々困難さがあります。その理由は、制作者自身が多くの素材を用意しなければならないからです。3Dキャラクターや3Dモデルなどのメイン素材は比較的容易に用意できますが、背景画像やその他の様々な素材の準備が課題となっています。

特に背景素材や音楽の用意が難しいです。音楽に関しては、素材集から購入して使用することも可能ですが、それをカスタマイズしたり、自分の作品に合わせようとすると、適切なものを見つけるのが困難です。このように、XRコンテンツ制作では、必要な素材を全て自分で用意する必要があり、それが大きな課題となっています。palan、そして、Pixelynxと組んだことで、こうしたハードルを乗り越えやすくなります。（下桐氏）

画像生成AIを用いることで、プロンプト技術を習得すれば、クリエイターは自分の創造通りの、思い思いの画像を作成し使用することができるようになります。

同じように、音楽面においても、Pixelynxを使えば、権利がクリアされた上で、著名なアーティストが関わる高品質な音楽を使用することが可能になります。これらの高品質な素材を自分の作品に取り入れられることが、従来の課題を解決する大きな特徴です。（下桐氏）

さらに、Phull氏は、この連携が将来にもたらす可能性について、次のように展望を述べました。

私たちが考えるエキサイティングなつながり方は多岐にわたります。単一のプラットフォームを超えた表現を可能にするクリエイティブツールや、相互運用可能なパフォーマンスなど、非常に魅力的で多くの可能性を秘めていると考えています。（Phull氏）

この3社の技術連携は、ARコンテンツ制作の世界に新たな可能性をもたらすものとして注目を集めるでしょう。クリエイターの表現の幅を広げ、より身近でインタラクティブなARエクスペリエンスを実現することで、AR技術の社会実装に大きく貢献することが期待されます。