LLMの用途はチャットボットや検索にとどまらず——エンプラ系アプリの可能性を広げるエンベディングとは

大規模言語モデル（LLM）の人気が高まるにつれ、さまざまなデータタイプの特徴を数値表現に圧縮する深層学習システム「エンベディングモデル」にも関心が集まっている。

エンベディングモデルは、企業向けの LLM の重要なアプリケーションの1つである検索拡張世代（RAG）の重要なコンポーネントの1つである。しかし、エンベディングモデルの可能性は、現在の RAG アプリケーションにとどまらない。この1年、エンベディングアプリケーションは目覚ましい進歩を遂げた。

エンベディングの仕組み

エンベディングの基本的な考え方は、画像やテキスト文書などのデータの一部を、その最も重要な特徴を表す数値のリストに変換することだ。エンベディングモデルは、異なるタイプのデータを見分けることができる最も関連性の高い特徴を学習するために、大規模なデータセットで学習される。

例えば、コンピュータビジョンでは、エンベディングは、特定のオブジェクトの存在、形状、色、その他の視覚パターンなどの重要な特徴を表すことができる。テキストアプリケーションでは、エンベディングは概念、地理的位置、人物、企業、物体などの意味情報をエンコードすることができる。

RAG アプリケーションでは、企業の文書の特徴を符号化するためにエンベディングモデルが使用される。各文書の埋め込みは、埋め込みを記録し比較することに特化したデータベースであるベクトルストアに格納される。推論時に、アプリケーションは新しいプロンプトの埋め込みを計算し、それをベクトルデータベースに送り、プロンプトの埋め込みに最も近い値を持つ文書を検索する。そして、関連する文書の内容がプロンプトに挿入され、LLM はそれらの文書に基づいて応答を生成するように指示される。

このシンプルな仕組みは、LLM が独自の文書や学習データに含まれていない情報に基づいて回答するようカスタマイズする上で、大きな役割を果たす。また、適切な情報がないために LLM が誤った事実を生成してしまう幻覚のような問題に対処するのにも役立つ。

基本的な RAG を超えて

RAG は LLM にとって重要な追加機能であるが、検索とエンベディングの利点は、プロンプトと文書のマッチングにとどまらない。

LlamaIndex の CEO Jerry Liu 氏は、VentureBeat に次のように語っている。

エンベディングは主に検索に使われています（そして多分、概念の素敵な視覚化にも）。しかし、検索そのものは、実際には非常に幅広く、質問応答のための単純なチャットボットを超えて広がっています。

検索は、あらゆる LLM ユースケースのコアステップになり得ると Liu 氏は言う。LlamaIndex は、SQL データベースへのコマンド送信、構造化データからの情報抽出、長文生成、ワークフローを自動化するエージェントなど、ユーザが LLM プロンプトを他のタイプのタスクやデータにマッチさせるためのツールやフレームワークを作成している。

検索は、LLM を関連するコンテキストで補強するための中核的なステップであり、ほとんどの企業 LLM のユースケースは、少なくとも何らかの形で検索を必要とすると想像しています。（Liu 氏）

エンベディングは、単純な文書検索以外の用途にも使える。例えば、イリノイ大学アーバナ・シャンペーン校と清華大学の研究者たちは、エンベディングモデルを使ってコーディング LLM の学習コストを削減した。エンベディングを使用して、LLM が達成しなければならないさまざまな種類のタスクを代表する、多様なデータセットの最小サブセットを選択する技術を開発した。これにより、より少ない例数で、高い品質でモデルを訓練することが可能になった。

エンタープライズアプリケーションのためのエンベディング

Qdrant の CEO である Andre Zayarni 氏は VentureBeat の取材に対し、次のように語った。

ベクトル埋め込みは、あらゆる非構造化データや半構造化データを扱う可能性を導入しました。正直なところ、RAG はセマンティック検索アプリケーションの一種です。テキスト以外のデータ（画像、音声、動画）を扱うことは大きなトピックであり、新しいマルチモーダル変換器がそれを実現するでしょう。

Qdrant は既に、異常検知、レコメンデーション、時系列処理など、様々なアプリケーションでエンベディングを利用するサービスを提供している。

一般的に、未開拓のユースケースはたくさんあり、今後のエンベディングモデルによって、その数は増えていくでしょう。（Zayarni 氏）

より多くの企業が、大量の非構造化データを調査するためにエンベディングモデルの使用を検討している。例えば、エンベディングは、企業が何百万もの顧客からのフィードバックメッセージやソーシャルメディアへの投稿を分類し、トレンドや共通のテーマ、センチメントの変化を検出するのに役立つ。

Cohere のエンベディングリーダー Nils Reimers 氏は、「エンベディングは、膨大な量のデータを分類してトレンドを特定し、洞察を深めようとする企業にとって理想的です」と VentureBeat に語っている。

エンベディングのファインチューニング

2023年、カスタムデータセットによる LLM のファインチュニングに関する多くの進展が見られた。しかし、ファインチューニングは依然として難題であり、優れたデータと専門知識を持つ企業は今のところほとんどない。

私は、RAG からファインチューニングへの流れは常に存在するだろうと思います。人々は最も使いやすいもの（RAG）から始め、最適化ステップとしてファインチューニングを検討するでしょう。オープンソースモデル自体も改善される中で、今年はより多くの人々が LLM/エンベディングのためにファインチューニングを行うと予想していますが、その数は、ファインチューニングを超使いやすくするような画期的な変化がない限り、RAG を行う人々の数よりも少ないでしょう。（Liu 氏）

エンベディングのファインチューニングにも課題がある。例えば、エンベディングはデータのシフトに敏感だ。短い検索クエリで訓練すると、長いクエリではうまくいかなくなる。同様に、「what」の質問で学習させた場合、「why」の質問ではうまくいかない。

LLM のユースケースの他の側面とは対照的に、現在のところ、企業が組み込みのファインチューニングを効果的に行うには、社内に非常に強力な ML チームが必要です。（Reimers 氏）

それでも、エンベディングモデルのトレーニングプロセスをより効率的にするための進歩はある。例えば、Microsoft 社による最近の研究では、Mistral-7B のような事前に訓練された LLM は、強力な LLM によって生成された小さなデータセットで、埋め込みタスク用にファインチューニングすることができると示されている。これは、重い手作業と高価なデータ取得を必要とする従来の多段階プロセスよりもはるかに簡単である。

LLM とエンベディングモデルの進歩のペースを考えると、今後数カ月はさらにエキサイティングな展開が期待できそうだ。

【via VentureBeat】 @VentureBeat

【原文】