Meta AI の研究チームは、スマートフォンやその他のリソースに制約のあるデバイス向けに設計された、効率的な言語モデルを作成するための新しいアプローチ「MobileLLM」を発表した。2024年6月27日に発表されたこの研究は、効果的な AI モデルに必要なサイズに関する仮定に挑戦している。

Meta Reality Labs、PyTorch、Meta AI Research（FAIR）のメンバーで構成される研究チームは、10億以下のパラメータでモデルを最適化することに焦点を当てた。これは、1兆を超えるパラメータを持つと推定される「GPT-4」のようなモデルの数分の一のサイズである。

Meta のチーフ AI サイエンティスト Yann LeCun 氏は、X（旧Twitter）での研究の主要な側面を強調した。

MobileLLM: nice paper from @AIatMeta about running sub-billion LLMs on smartphones and other edge devices.
TL;DR: more depth, not width; shared matrices for token->embedding and embedding->token; shared weights between multiple transformer blocks;

Paper: https://t.co/TDWQWdZeIy pic.twitter.com/3IBklvTiBI

— Yann LeCun (@ylecun) July 7, 2024

MobileLLM の主な革新には以下が含まれる。

1. モデルの幅よりも深さを優先
2. 埋め込み共有とグループ化されたクエリーアテンションの実装
3. 新しい即時ブロック単位の重み共有技術の活用

このような設計上の選択により、MobileLLM は、一般的なベンチマークタスクにおいて、同規模の従来モデルを2.7%～4.3%上回る性能を実現した。この1桁の改善は小さく見えるかもしれないが、競争の激しい言語モデル開発の分野では意味のある進歩だ。

特筆すべきことに、MobileLLM の3億5,000万パラメータバージョンは、特定の API 呼び出しタスクにおいて、はるかに大規模な70億パラメータの LLaMA-2 モデルと同等の精度を示した。このことは、特定のアプリケーションでは、よりコンパクトなモデルが、より少ない計算資源で同様の機能を提供する可能性があることを示唆している。

MobileLLM の開発は、より効率的なAIモデルへの関心の高まりと一致している。非常に大規模な言語モデルの進歩が鈍化の兆しを見せる中、研究者たちはよりコンパクトで特化した設計の可能性をますます探求している。MobileLLM は、その名前に「LLM（=Large Language Model）」が付いているにもかかわらず、効率性とオンデバイスでの展開に重点を置いていることから、一部の研究者が小規模言語モデル（SLM）と呼ぶものと同様のカテゴリに属する。

MobileLLM はまだ一般利用はできないが、Meta は事前学習コードをオープンソース化しており、他の研究者が彼らの研究を基に構築することができる。この技術が発展すれば、個人用デバイスでより高度な AI 機能が利用できるようになるかもしれないが、その時期や正確な機能はまだ不明である。

MobileLLM の開発は、高度なAIをより身近で持続可能なものにするための重要な一歩である。MobileLLM は、効果的な言語モデルは巨大なものでなければならないという概念に挑戦し、パーソナルデバイス上での AI アプリケーションに新たな道を開く可能性を秘めている。

【via VentureBeat】 @VentureBeat

【原文】