OpenAI は、大規模言語モデル（LLM）「GPT-3.5 Turbo」をファインチューニングするための新しい組み込みサポートを提供すると発表した翌日、GPT-3.5 のファインチューニングを提供する優先パートナーとして Scale を指名した。

Scale の創業者兼 CEO の Alexandr Wang 氏はプレスリリースで次のように述べた。

我々は OpenAIと 提携し、モデルのパフォーマンスを大幅に向上させることで、各企業が独自のニーズに対して AI を最も効果的に活用できるよう支援できることを嬉しく思います。GPT-3.5のような最高の LLM でも、プロンプティングだけでは、最も正確で効率的な結果を生み出すのに十分なモデルのカスタマイズではありません。ソフトウェアと同様、きめ細かな最適化によって信じられないほどの価値が生まれます。そのためにはファインチューニングが重要です。

Scale がファインチューニングのノウハウを提供

プレスリリースの中で、Scale はこのパートナーシップについて次のように述べた。

OpenAI の高度な基本モデル GPT-3.5 と Scale のファインチューニングの専門知識、それに業界をリードする「Data Engine」を組み合わせることで、あらゆる企業がそれぞれのビジネスニーズに合った最先端のカスタムモデルを作成できるようになります。

Scale の Data Engine は、プロンプトを生成し、モデル出力をランク付けすることで、モデルの開発を加速する。

Scale はすでに多くの商用およびオープンソースモデルのファインチューニングを行っているという。

GPT-3.5のための OpenAI の優先ファインチューニングパートナーとして、我々は彼らの強力な API を活用し、より多くの企業がコストを削減しながら効率を向上させる最も強力なカスタム LLM を構築するのを支援できることに興奮しています。（Scale のプレスリリース）

OpenAI の COO Brad Lightcap 氏は、次のように述べた。

Scale は、より多くの企業にファインチューニングの力をもたらす我々の能力を拡張し、企業AIの経験を基に、企業が独自のニーズに対して OpenAI のモデルをより良く適用できるよう支援します。

ファインチューニングのパイロットプログラムは有望

データラベリングサービスとして一躍有名になり、2021年4月には70億米ドルの評価額を獲得した話題のユニコーン企業 Scale は、浮き沈みの激しい1年だった。1月には700人いたスタッフの20％を解雇したが、5月にはフルスタックのジェネレーティブ AI プラットフォームを発表して立ち直った。

フィンテック企業の Brex は、LLM を使用して高品質の経費メモを作成し、従業員のコンプライアンス要件の負担を軽減している。

Scale のプレスリリースによると、Brex のチームはこれまでメモの生成に GPT-4 を使っていたが、GPT-3.5 をファインチューニングしたモデルを使うことで、品質を維持したままコストとレイテンシーを改善できないか検討したかったという。

Scale の Data Engine で注釈が付けられた BREX データに対して GPT-3.5 ファインチューニング API を使用することにより、ファインチューニングされた GPT-3.5モデルが標準の GPT-3.5 Turbo モデルを66%の確率で上回ることがわかりました。（Scale のプレスリリースから）

Brex の CEO Henrique Dubugras 氏は、次のように述べた。

OpenAI と Scale との継続的なパートナーシップは、従業員のコンプライアンスを強化し、財務チームが帳簿をより早く締められるよう支援する最先端の技術を採用することで、当社を最先端に位置づけるものです。特に、GPT-3.5をファインチューニングすることで、GPT-4に匹敵する高品質の AI エクスペリエンスを、より低コストかつ低レイテンシーで提供できるようになりました。これによって、以前は実現不可能だったまったく新しい機能のセットが、私たちの手から解き放たれたのです。

【via VentureBeat】 @VentureBeat

【原文】