ピックアップ：Stability AIは言語モデル「StableLM Suite」の第一弾をリリース開始

ニュースサマリ：Stable DiffusionやDance DiffusionなどオープンソースジェネレーティブAIを開発するStability.AIは19日、StableLMを発表した。StableLMは一般の利用者にも安全で使いやすいAIアプリケーションを提供することを目指す。StableLMは、以下の3つの言語モデルから構成されている。

• StableLM-Base：このモデルは、一般的な言語処理タスクで使用できる基本的なモデルで、様々な産業分野で活用できる
• StableLM-Pro：より高度なタスクに対応するプロフェッショナル向けモデルで、専門知識を持つユーザーが、独自のタスクやアプリケーションに合わせてカスタマイズできる
• StableLM-Enterprise：大規模な組織向けに設計されたエンタープライズ向けモデルで、特定の業界やニーズに対応するために独自のデータセットで訓練されている

これらはエンドユーザーが機械学習の専門知識を持っていなくても、簡単に自然言語処理タスクを実行できるように設計されている。高い品質のみならず、プライバシー保護とデータセキュリティの確保にも重点を置く。

話題のポイント：登場から半年足らずで、すでにアプリケーション層にまで影響を与え始めているChatGPTの快進撃は説明するまでもないと思います。Microsoftを筆頭に、実用的レベルのツールがどんどん現れ、プロンプトエンジニアリングの熟練度が数年後大きなスキルの差を生み出すことは間違いなさそうです。

そんなツールとして見極めが始まった大規模言語モデルの領域ですが、MetaのLLaMAを皮切りに、GoogleのPaLMやLLaMAをベースにしてTogether、Ontocord.ai、チューリッヒ工科大学のETH DS3Lab、スタンフォード大学のStanford CRFM、Hazy Research、MILA Québec AI Instituteが共同で開発するRedPajamaなど、大規模言語モデルそのものが連続して発表されています。

この背景には、誰の頭が一番良いのか、誰が一番信用できるのか、誰が使いやすいのかという観点で競争があるのです。AIが業務効率化や人間でも判断が難しい特徴量を抽出することで、サービスの種類や質が一変し始めた2018年に、GoogleからBERTが発表され、それを追うようにOpenAIから2020年にGPT-3が発表されてからは、文脈を読むことや矛盾しない文章生成の精度などで、AIの一分野として日の目を見ぬまま今と比べるとだいぶ遅い競争を続けてきました。

2018年ごろからTwitter上に実名で有益な情報を投稿する人が急増したこともあって、追いきれなくなった筆者はBERTを使用して面白いツイートを選別するモデルを作って使用していましたが、文脈識別の能力の高さに驚いた記憶があります。その衝撃が1か月毎にやってきているのです。

今後もさらにこの領域での競争は加速していくように思いますが、特に重要になる要素が使いやすさとなるでしょう。今回の発表があったStability.AIのようにアプリケーション層がUXで躓くポイントを最小限にする方向性もありますが、用途を拡大する方向性もあるでしょう。

大規模言語モデルの性能を定量的に評価する数値にパラメータ数というものがあります。大きければ大きいほど安定性と性能が良くなりますが、その分マシンパワーが必要となるため、運用コストが肥大化してしまいます。いかにパラメータ数を抑えながら、性能は落とさないか、これが今後の使いやすさを大きく左右します。

実際、GPT-3は1750億、LLaMAは最大650億とパラメータ数で3倍差があるLLaMAですが、単体GPUで動作しても性能でGPT-3を上回ったことには驚かされました。

https://twitter.com/miolini/status/1634982361757790209?s=20

さらに、Artem Andreenko（@miolini）によると、LLaMAの派生モデルで、スタンフォード大学が公開したStanford Alpacaを再現したAlpaca LoRAが、GPT-3と同程度の性能のままでRaspberry Pi上で動かせたそうです。まだ低速動作ではあるものの、今後の大規模言語モデルの進展によってはIoTの成長を加速させる可能性があるということです。

ビックトレンドの潮の目となっている大規模言語モデルの動向には今後も大いに期待したいと思います。