Meta、LLMコンパイラを公開——AIがプログラミングの常識を変えるかも - BRIDGE（ブリッジ）テクノロジー＆スタートアップ情報

Meta は、「Meta Large Language Model (LLM) Compiler」を発表した。Meta Large Language Model (LLM) Compiler は、コードを最適化し、コンパイラ設計に革命を起こすために設計された、堅牢でオープンソースのモデル群だ。この技術革新は、開発者がコード最適化に取り組む方法を変革し、より速く、より効率的で、費用対効果の高いものにする可能性を秘めている。

LLM Compiler を開発した研究者たちは、大規模言語モデル（LLM）をコードやコンパイラの最適化に適用する際に、これまで十分に検討されてこなかった重要なギャップに対処した。LLVM-IR とアセンブリコードの5,460億トークンからなる膨大なコーパスでモデルをトレーニングすることで、コンパイラの中間表現、アセンブリ言語、最適化テクニックを理解できるようになった。

研究者らは論文で次のように説明している。

Today we’re announcing Meta LLM Compiler, a family of models built on Meta Code Llama with additional code optimization and compiler capabilities. These models can emulate the compiler, predict optimal passes for code size, and disassemble code. They can be fine-tuned for new… pic.twitter.com/GFDZDbZ1VF

— AI at Meta (@AIatMeta) June 27, 2024

LLM Compilerは、コンパイラの中間表現（IR）、アセンブリ言語、最適化技術の理解を強化します。

この強化された理解により、従来は人間の専門家や専用ツールに委ねられていたタスクを、このモデルが実行できるようになる。

AI によるコード最適化

LLM コンパイラは、コードサイズの最適化において目覚ましい成果を上げた。このモデルはテストにおいて、オートチューニング探索の最適化ポテンシャルの77%に達した。この結果は、コンパイル時間を大幅に短縮し、さまざまなアプリケーションにおけるコード効率を改善する可能性がある。

逆アセンブル（編注：人間が読めるアセンブリ言語に変換するプロセス）におけるモデルの能力は、さらに素晴らしいものだ。LLM Compiler は、x86_64 および ARM アセンブリをLLVM-IRに変換する際に、ラウンドトリップ逆アセンブルで45%の成功率（14%の完全一致）を示した。この能力は、リバースエンジニアリング作業やレガシーコードのメンテナンスにおいて非常に貴重なものとなるだろう。

このプロジェクトの中心的貢献者の一人で Chris Cummins 氏は、この技術の潜在的な影響力を強調している。

LLM Compiler は、2つのサイズ（70億と130億のパラメータ）で事前に訓練されたモデルへのアクセスを提供し、ファインチューニングされたバージョンを通じてその有効性を実証することで、コードとコンパイラの最適化の領域において、LLM の未開拓の可能性を探る道を開くでしょう。

ソフトウェア開発の変革

この技術の影響は、広範囲に及ぶ。ソフトウェア開発者は、より速いコンパイル時間、より効率的なコード、複雑なシステムを理解し最適化するための新しいツールの恩恵を受けることができる。研究者にとっては、AI を活用したコンパイラの最適化を探求するための新たな道が開かれ、ソフトウェア開発アプローチのブレークスルーにつながる可能性がある。

LLM コンパイラを寛容な商用ライセンスでリリースするというメタ社の決定は、特に注目に値する。この動きは、学術研究者と産業界の実務者の両方がこの技術を基に構築し、適応させることを可能にし、この分野のイノベーションを加速させる可能性がある。

しかし、このような強力な AI モデルのリリースは、ソフトウェア開発の状況の変化について疑問を投げかけている。AI が複雑なプログラミング作業を処理できるようになるにつれ、将来のソフトウェアエンジニアやコンパイラ設計者に求められるスキルが再構築される可能性がある。