HBO シリーズ「ゲーム・オブ・スローンズ」のファンにとって、「ドラカリス（Dracarys）」という言葉には特別な意味がある。ドラカリスとは、ドラゴンに火を吐かせるときに使う言葉だ。

生成 AI の世界には文字通りのドラゴンは存在しないが、Abacus.ai のおかげで、ドラカリスという言葉も意味を持つようになった。Dracarys は、コーディングのためのオープンな大規模言語モデル（LLM）の新しいファミリーの名前である。

Abacus.ai は AI モデル開発プラットフォームとツールベンダーであり、そのテクノロジーに架空のドラゴンの名前を使うことでは知られていない。同社は2月に「Smaug-72B」をリリースした。スマウグ（Smaug）とは、ファンタジーの名作「ホビットの冒険（編注：「ロード・オブ・ザ・リング」の前章とされる）に登場するドラゴンの名前だ。Smaug が汎用の LLM であるのに対し、Dracarys はコーディング作業を最適化するように設計されている。

初期リリースでは、Abacus.ai はいわゆる「Dracarys レシピ」を70B パラメータクラスのモデルに適用した。このレシピには、他のテクニックの中でも最適化された微調整が含まれている。

Abacus.ai の CEO 兼共同創設者 Bindu Reddy 氏は、VentureBeat の取材に対し、次のように述べた。

これは、オープンソースの LLM のコーディング能力を向上させるトレーニングデータセットとファインチューニングテクニックの組み合わせです。我々は、「Qwen-2 72B」と「LLama-3.1 70b」の両方を向上させることを実証しました。（Reddy 氏）

コーディングタスクのための生成 AI は成長分野

アプリケーション開発とコーディングの分野における生成 AI の市場全体は、活気に満ちた分野だ。

この分野における初期のパイオニアは、開発者のコード補完やアプリケーション開発作業を支援する「GitHub Copilot」だった。Tabnine や Replit を含む複数の新興企業も、LLM のパワーを開発者にもたらす機能を構築してきた。

そしてもちろん、LLM ベンダー自体もある。Dracarys は、Meta の汎用モデル「Llama 3.1」の微調整版を提供している。Anthropic の「Claude 3.5 Sonnet」も2024年に登場し、同様にコーディング用のLLMとして人気があり、有能だ。

「Claude 3.5」は非常に優れたコーディングモデルだが、クローズドソースモデルです。私たちのレシピはオープンソースモデルを改善し、「Dracarys-72B-Instruct」はそのクラスで最高のコーディングモデルです。（Reddy 氏）

Dracarys とその AI コーディング能力を支える数字

新モデルの LiveBench ベンチマークによると、Dracarys レシピで顕著な改善が見られる。

LiveBenchでは、meta-llama-3.1-70b-instruct ターボモデルのコーディングスコアは32.67だった。Dracarys のチューニングバージョンでは、35.23まで性能が向上している。qwen2 については、結果はさらに良い。既存の qwen2-72b-instructモデルのコーディングスコアは32.38だ。Dracarys レシピを使用することで、このスコアは38.95まで上昇した。

現在、Dracarys レシピを搭載しているのは qwen2と Llama 3.1だけだが、Abacus.ai は今後さらに多くのモデルをリリースする予定だ。

Deepseek-coderとLlama-3.1 400b用のDracarysバージョンもリリースする予定です。（Reddy 氏）

Dracarys はエンタープライズコーディングにどのように役立つか

Dracarys が約束するコーディングパフォーマンスの向上から、開発者や企業が恩恵を受ける可能性がある方法はいくつかある。

Abacus.ai は現在、Llama と Qwen2 ベースの両モデルについて、Hugging Face のモデルウェイトを提供している。Reddy 氏は、ファインチューニングされたモデルは現在、Abacus.aiの エンタープライズ向けサービスの一部としても利用可能であると指摘した。

これらは、OpenAI や Gemini のようなパブリック API にデータを送信したくない企業にとって素晴らしいオプションです。我々はまた、十分な関心があれば、小規模なチームや専門家のための非常に人気のある ChatLLM サービスで Dracarys を利用できるようにする予定です。（Reddy 氏）

【via VentureBeat】 @VentureBeat

【原文】