Google は11日、スマートフォンや IoT システム、パソコンなど、リソースに制約のあるデバイス上で高度な AI テキスト処理・生成を可能にする新しいオープン言語モデル「RecurrentGemma」を発表した。小規模言語モデル（SLM）とエッジコンピューティングへの最近の取り組みを継続する Google の新しいアーキテクチャは、大規模言語モデル（LLM）と同等の優れた性能を維持しながら、メモリと処理要件を大幅に削減する。このため RecurrentGemma は、対話型 AI システムやリアルタイム翻訳サービスなど、リアルタイムの応答が求められるアプリケーションに最適である。

今日の言語モデルにとってリソースがネックとなる理由

OpenAI の GPT-4、Anthropic の Claude、Google の Gemini のような今日の最先端の言語モデルは、処理される入力データのサイズに応じてメモリと計算の必要性が増加する Transformer アーキテクチャに依存している。これは、それぞれの新しい情報を、他のすべての情報と並列に関連付けながら考慮するためで、データ量が増えるにつれて、メモリと処理が大幅に増加する。その結果、このような大規模な言語モデルは、リソースに制約のあるデバイスでの展開には不向きで、リモートサーバーに依存しなければならず、リアルタイムエッジアプリケーションの開発を妨げている。

RecurrentGemma の仕組み

RecurrentGemma は、Transformer ベースのモデルのようにすべての情報を並列に考慮するのではなく、任意の時点で入力データのより小さなセグメントに注目することで効率性を実現している。この局所的な注目により、RecurrentGemma は、Transformer がメモリを大量に消費する主な理由である、大量の中間データを保存・分析する必要なく、長いテキスト列を処理することができる。このアプローチは、パフォーマンスを大きく損なうことなく、計算負荷を軽減し、処理を高速化する。

RecurrentGemma は、最新の Transformer ベースのモデルで使用されている手法よりも、概念的に古い手法を使用している。RecurrentGemma の効率性の核心は、従来のリカレント・ニューラル・ネットワーク（RNN）の基本的な構成要素である線形再帰に由来する。

RNN は、トランスフォーマーが登場する以前は、シーケンシャルなデータを処理するための標準でした。RNN は、新しいデータが処理されるたびに更新される隠された状態を維持することで動作し、シーケンスの前の情報を効果的に「記憶」する。

このアプローチは、言語処理のようなシーケンシャルなデータを扱うタスクに適している。RecurrentGemma は、入力データに関係なく一定レベルのリソース使用量を維持することで、メモリと計算機要件を抑えながら拡張テキスト処理タスクを処理することができ、リソースが限られたエッジデバイスでの展開に適しており、リモートのクラウドコンピューティングリソースへの依存をなくすことができる。

このモデルは、RNN と注意メカニズムの両方の長所を効果的に組み合わせ、効率が重要な状況で Transformers の欠点に対処する。これによって、RecurrentGemma は以前のモデルに戻ったというだけでなく、大きな一歩を踏み出したことになる。

エッジ、GPU、AI プロセッサにとっての意味

RecurrentGemma の設計は、GPU が AI タスクに好まれる主な理由のひとつである、大量のデータを継続的に再処理する必要性を最小限に抑えることに重点を置いている。処理の範囲を縮小することで、RecurrentGemma はより効率的に動作し、多くのシナリオで高性能 GPU の必要性を減少させる可能性がある。

ハードウェアの需要が減ることで、RecurrentGemma のようなモデルは、ハイパースケールクラウド用に設計されたサーバーよりもローカルの処理能力が一般的に低いエッジコンピューティングアプリケーションに適している。これにより、クラウドとの常時接続に依存することなく、スマートフォンや IoT デバイス、組み込みシステムなどのエッジデバイスに高度な AI 言語処理を直接導入することが可能になる。

RecurrentGemma やその他の SLM は、すべてのケースで GPU や専用の AI プロセッサの必要性を完全に排除することはできないかもしれないが、より小規模で高速なモデルへのシフトは、エッジでの AI ユースケースの開発と展開を加速し、私たちが毎日使用するデバイス上でのテクノロジーとの関わり方を変革する可能性がある。

RecurrentGemma の導入は、言語 AI の進化におけるエキサイティングな新展開であり、高度なテキスト処理と生成のパワーをエッジにもたらす。Google がこの技術を改良し続けている今、AI の未来がクラウドだけでなく、私たちの手のひらの中にあることは明らかだ。

【via VentureBeat】 @VentureBeat

【原文】