Meta、商業利用可能なオープンソースAIモデル「LLaMA 2」を公開 - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

Microsoft のカンファレンス「Inspire」の開催に合わせて、Meta は18日、新しい AI モデル「LLaMA 2（Large Language Model Meta AI）」を発表した。新しい大規模言語モデル（LLM）は現在利用可能であるだけでなく、オープンソースであり、商用利用が自由になる。

このニュースは、Microsoft の LLaMA 2 に対する率直な支持と相まって、急速に変化するジェネレーティブ AI の世界が再び変化したことを意味する。今、多くの企業が慎重ながらも AI を取り入れようとしているが、その選択肢はもうひとつある。この AI は、リーダーでありライバルでもある OpenAI の「ChatGPT Plus」や、Cohere のような挑戦者とは異なり、完全に無料である。

LLaMA の新リリースをめぐる噂は、少なくとも1カ月は業界に渦巻いていた。アメリカの上院議員が AI モデルの可用性についてMeta に質問していただ。

LLaMA の最初のイテレーションは、研究ライセンスのもとで学者や研究者が利用できるようになっていた。しかし、LLaMA の基礎となるモデルウェイトが流出し、政府の調査につながる論争を引き起こした。LLaMA 2 では、Meta は以前の論争を一掃し、前作よりも広く使用可能で、LLM の状況全体を揺るがす可能性のある、より強力なモデルで前進している。

Microsoft は AI に賭ける

LLaMA 2 は Microsoft Azure で利用可能になる。これは、Azure が OpenAI とその LLM「GPT-3／GPT-4ファミリー」のの主要なホームでもあるという点で注目に値する。Microsoft は、Meta の前身であるFacebookと OpenAI の両方に投資している。

Meta の創業者で CEO のMark Zuckerberg 氏は、LLaMA がオープンソースであることに特に熱心だ。Zuckerberg 氏は声明の中で、Meta はオープンソースと長い歴史があり、特に PyTorch 機械学習フレームワークで AI に多くの顕著な貢献をしてきたと述べている。

オープンソースは、より多くの開発者が新しいテクノロジーを使って開発することを可能にするため、イノベーションを促進します。ソフトウェアがオープンであれば、より多くの人がそれを精査し、潜在的な問題を特定して修正することができるからです。エコシステムがよりオープンになれば、より多くの進歩がもたらされると信じています。（Zuckerberg 氏）

Meta の副社長兼チーフ AI サイエンティストである Yann LeCun 氏も Twitter のメッセージで、オープンソースのリリースを歓迎している。

LLaMA 2 はオープンソースであり、商業利用を許可するライセンスがあります。これは LLM 市場の風景を変えるだろう。LLaMA 2 は Microsoft Azure で利用可能で、AWS や Hugging Face、その他のプロバイダでも利用可能になる予定です。（LeCun 氏）

LLaMA の中身

LLaMA は、変換器ベースの自動回帰言語モデルである。LLaMA の最初のイテレーションは、一般的なジェネレーティブ AI タスクに幅広く対応できる650億パラメータモデルとして、2月に Meta によって公開された。

対照的に、LLaMA 2 には、7、130、700億のパラメータを含む多くのモデルサイズがある。Meta によれば、事前訓練されたモデルは、LLaMA 1 で使用されたものより40％大きい膨大なデータセットで訓練されたもので、文脈の長さも LLaMA 1 の2倍の2兆トークンに拡張されている。

LLaMA は、より多くのデータ、より多くのパラメータで学習されただけでなく、Meta が提供したベンチマークによれば、このモデルは前モデルよりも優れた性能を発揮している。

安全対策をアピール

LLaMA 2 はパワーがすべてではなく、安全性も重視している。LLaMA 2 はまず、一般に入手可能なデータで事前学習される。その後、モデルは一連の教師付き微調整（SFT）段階を経る。さらに LLaMA 2 は、人間のフィードバックによる強化学習（RLHF）のサイクルを経て、さらなる安全性と責任感を提供する。

LLaMA 2 に関する Meta の研究論文では、安全性と潜在的なバイアスを制限するために取られた包括的な措置について、詳細な説明がなされている。