Meta Platforms は先週、カリフォルニア州メンローパークで開催された年次カンファレンス「Meta Connect」で、Facebook、Instagram、WhatsApp 向けの多数の新 AI 機能を披露した。

しかし、Mark Zuckerberg 氏の会社からの最大のニュースは、Metaの研究者たちがオープンアクセスで査読のない Web サイト「arXiv.org」で発表したコンピュータサイエンスの論文である。

この論文では、「Llama 2 Long」が紹介されている。Llama 2 Long は、Meta が夏にリリースしたオープンソースの「Llama 2」をベースにした新しい AI モデルだが、論文の著者である研究者によれば、Llama 2 から、より長いトレーニングシーケンスと、長文がアップサンプリングされたデータセットで継続的に事前トレーニングを受けたものだという。

この結果、Meta の新しく拡張された AI モデルは、16,000文字のコンテキストウィンドウを持つOpenAIの「GPT-3.5 Turbo」や、100,000文字のコンテキストウィンドウを持つ「Claude 2」など、長い（文字数の多い）ユーザプロンプトに対する応答を生成する主要な競合のいくつかを凌駕している。

Meta introduces LLAMA 2 Long

– context windows of up to 32,768 tokens
– the 70B variant can already surpass gpt-3.5-turbo-16k’s overall performance on a suite of long-context tasks https://t.co/uzsVslLUkX pic.twitter.com/aXyPmeLXMo

— AK (@_akhaliq) September 29, 2023

Llama 2 Long の誕生秘話

Meta の研究者たちは、オリジナルの Llama 2 のさまざまなトレーニングパラメーターサイズ（アルゴリズムが学習する際に独自に変更できるデータや情報の値で、Llama 2 の場合、70億、130億、340億、700億のバリエーションがある）を利用し、オリジナルの Llama 2 のトレーニングデータセットよりも長いテキストデータソースを含めた。正確には4,000億トークン分だ。

その後、研究者たちはオリジナルの Llama 2 のアーキテクチャはそのままに、このモデルがより長く注意するために重要な位置エンコーディングに必要な修正を加えただけだった。

このエンコーディングは、Llama 2（および Llama 2 Long）のような LLM の基礎となる変換モデルをプログラミングする方法であり、基本的にトークン埋め込み（単語、概念、およびアイデアを表すために使用される数値）を、回転させても他のトークンとの相対的な位置を示す3D グラフ上にマッピングする。これによりモデルは、他のアプローチよりも少ない情報量（したがって、より少ないコンピューティング・ストレージしか必要としない）で、正確で有用な応答を生成することができる。

Meta の研究者たちは、RoPE 埋め込みの回転角度を Llama 2 から Llama 2 Long に減少させ、より遠いトークン、つまりより稀に出現したり、他の情報との関連性が少ないトークンもモデルの知識ベースに含まれるようにした。

人間によるフィードバックからの強化学習（RLHF）とは、人間の監視下で AI が正しい回答をした場合に報酬を与える一般的な AI モデルの学習方法であり、研究者らは、Llama 2 自身が生成した合成データを使用することで、コーディング、数学、言語理解、常識的な推論、人間のユーザからの質問に対する回答など、一般的な LLM タスクのパフォーマンスを向上させることができた。

Llama 2 の通常版、Anthropic の Claude 2、OpenAI の GPT-3.5 Turbo らと比較して、このような印象的な結果では、Reddit や Twitter、Hacker News 上のオープンソースの AI コミュニティが、今週初めの論文のリリース以来、Llama 2への賞賛と興奮を表明しているのも不思議ではない。これは、ジェネレーティブ AI に対する Meta のオープンソースアプローチの大きな検証であり、オープンソースが資金力のある新興企業が提供するクローズドソースの「Pay to Play」モデルに対抗できることを示している。

【via VentureBeat】 @VentureBeat

【原文】