光インターコネクト技術を開発する Celestial AI は、シリーズ B ラウンドに成功し、同社の技術プラットフォーム「Photonic Fabric」のために1億米ドルを調達したと発表した。このラウンドは、IAG Capital Partners、Koch Disruptive Technologies （KDT）、Temasek の Xora Innovation Fund がリードした。

その他、Samsung Catalyst、Smart Global Holdings（SGH）、Porsche Automobil Holding SE、The Engine Fund、ImecXpand、M Ventures、Tyche Partners などが参加した。

Celestial AI によると、同社の Photonic Fabric は、既存の技術を凌駕する光接続性能の大幅な進歩を意味する。同社はシードラウンドからシリーズ B ラウンドまでで、総額1億6,500万米ドルを調達している。

「メモリの壁」という課題に挑む

ChatGPT やレコメンデーションエンジンに広く使用されている GPT-4 などの高度な AI モデルは、指数関数的に増大するメモリ容量と帯域幅を必要とする。しかし、クラウドサービスプロバイダ（CSP）やハイパースケールデータセンタは、メモリのスケーリングとコンピューティングの相互依存による課題に直面している。

帯域幅の制限、高レイテンシー、高電力消費といった電気的相互接続の限界は、AI ビジネスモデルの成長と AI の進歩を妨げている。

こうした課題に対処するため、 Celestial AI はハイパースケーラー、AI コンピューティング、メモリープロバイダと協力し、Photonic Fabric を開発した。この光インターコネクトは、分解されたエクサスケールコンピューティングとメモリクラスタ向けに設計されている。

同社は、独自技術「Optical Compute Interconnect（OCI）」により、スケーラブルなデータセンタメモリの分割が可能になり、高速コンピューティングが可能になると主張している。

メモリ容量が重要な問題

Celestial AI の CEO David Lazovsky 氏は、VentureBeat に次のように語った。

今後の重要な問題は、大規模言語モデル（LLM）やレコメンデーションエンジンのワークロードのためのメモリ容量、帯域幅、データ移動（チップ間の相互接続性）だ。当社の Photonic Fabric は、光工学をシリコンダイに直接連携することを可能にする。主な利点は、当社のソリューションにより、シリコンダイ（円盤状の基板に回路パターンを焼き付けた半導体チップ）上のどのポイントからでもコンピューティングポイントにデータを配信できることだ。Co-Packaged Optics（CPO）のような競合ソリューションは、ダイのエッジにしかデータを送れないため、このようなことはできない。

Lazovsky 氏は、 Photonic Fabric は、ナノ秒のレイテンシーで大幅に向上した帯域幅（1.8Tbps／mm²）を提供することで、困難なビーチフロント問題に対処することに成功したと主張している。その結果、このプラットフォームは完全にフォトニックなコンピュート間およびコンピュートからメモリーへのリンクを提供する。このプラットフォームはまた、CXL や JEDEC（HBM）などの業界標準プロトコルをサポートし、PCIe やUCIe、その他の独自インターコネクトなどのインターフェースとも互換性がある。

直近の資金調達ラウンドは Broadcom の注目も集めた。Broadcom は、 Celestial AI の設計に基づく Photonic Fabric のプロトタイプの開発に協力している。同社は、これらのプロトタイプが今後18カ月以内に顧客に出荷できるようになることを期待している。

光インターコネクトによる高速コンピューティングの実現

Lazovsky 氏は、データセンター内で転送されるデータ量の増加に伴い、データレートも上昇しなければならないと述べた。同氏は、このような転送速度の増加に伴い、電気的相互接続では、信号忠実度の損失や、データの増加に合わせて拡張できない帯域幅の制限といった問題が発生し、システム全体のスループットが制限されると説明している。

Celestial AI によると、 Photonic Fabric の低レイテンシーデータ伝送は、従来の電気的相互接続よりもはるかに多くのサーバーの接続と分離を容易にする。また、この低レイテンシーにより、レイテンシーに敏感なアプリケーションは、従来の電気的相互接続では不可能であったリモートメモリーの利用が可能になる。

ハイパースケーラーやデータセンターは、電力、レイテンシ、パフォーマンスを犠牲にすることなく、メモリとコンピュートリソースを分離することができる。サーバ DRAM メモリの非効率的な使用は、ハイパースケーラや企業全体で（数十億とは言わないまでも）数億ドルの浪費につながる。メモリ分割とメモリプーリングを可能にすることで、メモリの使用量を削減するだけでなく、メモリ利用率も向上させることができる。（Lazovsky 氏）

より大きなデータセットの保存と処理

同社は、この新しいサービスは、シリコン上のあらゆるポイントからコンピューティングポイントに直接データを提供できると主張している。Celestial AI によると、 Photonic Fabric はシリコン・エッジ接続の限界を超え、CPO が提供する25倍の1.8Tbps／mm²のパッケージ帯域幅を提供する。さらに、データをエッジではなくコンピューティングポイントに直接配信することで、 Photonic Fabric は10倍低いレイテンシを実現するとしている。

Celestial AI は、GPT-4、PaLM、ディープラーニング・レコメンデーション・モデル（DLRM）など、1,000億から1兆を超えるパラメータを持つ LLM の企業向け計算を簡素化することを目指している。

Lazovsky 氏は、AI プロセッサ（GPU、ASIC）の高帯域幅メモリ（32GB～128GB）には限りがあるため、今日の企業はこれらのモデルを処理するために数百から数千のプロセッサを接続する必要があると説明した。しかし、このアプローチはシステム効率を低下させ、コストを押し上げる。

Photonic Fabric は、高帯域幅で各プロセッサのアドレス可能なメモリ容量を増やすことで、各プロセッサがより大きなデータチャンクを保存・処理できるようにし、必要なプロセッサ数を削減する。「高速なチップ間リンクを提供することで、接続されたプロセッサはモデルをより高速に処理することができ、コストを削減しながらスループットを向上させることができる。（Lazovsky 氏）

Celestial AI の次の目標は？

Lazovsky 氏は、今回のラウンドで調達した資金は、Celestial AI のエンジニアリング、セールス、テクニカルマーケティングチームを拡大することで、Photonic Fabric の製品化と商業化を加速させるために使用されると述べた。

LLM によるジェネレーティブ AI ワークロードの成長と、それが現在のデータセンターアーキテクチャに与えるプレッシャーを考えると、一般的なコンピューティングデータセンターインフラからコンピューティング加速への移行をサポートする光接続に対する需要は急速に高まっている。我々は、2023年末までに従業員数を約30%増の130人にする予定だ。（Lazovsky 氏）

Lazovsky 氏は、LLM の利用が様々なアプリケーションで拡大するにつれて、インフラコストも比例して増加し、多くのインターネット規模のソフトウェアアプリケーションでは利幅がマイナスになると述べた。さらに、データセンターは電力の限界に達しており、追加できるコンピューティングの量が制限されている。

こうした課題に対処するため、Lazovsky 氏は、高帯域幅かつ低レイテンシーのチップ間およびチップメモリ間の相互接続ソリューションを提供することで、高価なプロセッサへの依存を最小限に抑えることを目指している。このアプローチは、企業の資本支出を削減し、既存のインフラストラクチャの効率を高めることを意図しているという。

メモリーの壁を打ち砕き、システムの効率化を支援することで、われわれは新しい製品を通じて、AI モデルの進歩と採用の将来の方向性を形作る手助けをすることを目指している。メモリ容量と帯域幅が制限要因でなくなれば、データサイエンティストはより大きな、あるいは異なるモデルアーキテクチャを試して、新しいアプリケーションやユースケースを解き放つことができるようになる。大規模モデルの採用コストを下げることで、より多くの企業が、より大規模なモデルを採用できるようになると信じている。（Lazovsky 氏）

【via VentureBeat】 @VentureBeat

【原文】