ベテラン AI 専門家で投資家の Kai-Fu Lee（李開復）氏が設立した中国のスタートアップ 01.AI（零一万物）は、それぞれオープンソースの大規模言語モデル（LLM）で、Meta Platforms が構築した700億パラメータの「Llama 2」、アブダビの Technology Innovation Institute が構築した1,800億のパラメータの「Falcon」を凌ぐ、340億パラメータの LLM をリリースした。

新 AI モデル「Yi-34B」は、中国語と英語をサポートし、さまざまなユースケースに合わせてファインチューニングが可能だ。このスタートアップは、60億のパラメータで学習させた、より小さなオプションも提供しており、広く使用されている AI／ML モデルのベンチマークでは、性能は低下しているが、それでも立派なものである。

設立から8カ月足らずで、すでにユニコーンの地位を獲得した同社は、最終的にはこれらのモデルをさらに改良し、ユーザ数で現在のジェネレーティブ AI 市場をリードする OpenAI に対抗できる商用サービスを開始する予定だ。

この戦略は、グローバル企業が主にそれぞれの市場に向けたジェネレーティブ AI モデルを開発しているという世界的な傾向を浮き彫りにしている。

「人間＋AI」で LLM ドリブンな世界

Lee 氏は、LLM によって人間の生産性を向上させ、経済や社会に大きな変化をもたらす「AI 2.0時代」に貢献することを使命として、3月に 01.AI を設立した。

01.AI のチームは、基盤モデルのブレークスルーが牽引する新しい AI 2.0が、あらゆるレベルのテクノロジー、プラットフォーム、アプリケーションに革命をもたらすと確信しています。私たちは、AI 2.0がモバイルインターネットの10倍の規模のプラットフォーム機会を生み出し、すべてのソフトウェアとユーザインターフェースを書き換えると予測しています。このトレンドは、AI ファーストのアプリケーションと AI を活用したビジネスモデルの次の波を生み出し、AI 2.0のイノベーションを長期的に促進するでしょう。（01.AI の Web サイト）

報道によると、Lee 氏は Google、Huawei（華為）、Microsoft Research Asia などの AI 専門家を含む技術チームを素早く結成し、01.AI の Yi シリーズモデルのトレーニングに必要なチップを積み上げた。

この取り組みのための最初の資金調達は、Lee 氏が会長を務める Sinovation Ventures（創新工場）と Alibaba（阿里巴巴）のクラウド部門がリードした。しかし、正確な調達額は現段階では不明だ。

同社による最初の公開リリースでは、6B と34B の2つのバイリンガル（英語／中国語）ベースモデルが導入され、どちらも4K のシーケンス長で学習され、推論時に32K に拡張するオプションが用意された。その後リリースされたモデルは、200K のコンテキスト長を持つようになった。

Hugging Face では、34B のベースモデルは、「Llama 2-70B」や「Falcon-180B」など、はるかに大きな事前学習済みベース LLM よりも優れたパフォーマンスで際立っていた。

例えば、一般的な推論と読解を中心としたベンチマークタスクでは、01.AIモデルは80.1と76.4のスコアを記録し、Llama 2は71.9と69.4のスコアで僅差で続いた。MMLU（大規模マルチタスク言語理解）ベンチマークでも、中国語モデルのスコアが76.3だったのに対し、Llama モデルは68.9、Falcon モデルは70.4だった。

より優れた性能を発揮する小型モデルは、エンドユーザにとって計算リソースを節約できるため、モデルをファインチューニングし、さまざまなユースケースをターゲットにしたアプリケーションをコスト効率よく構築することが可能になる。同社によると、現在の Yi シリーズの全モデルは、学術研究のために完全に開放されている。しかし、自由な商業利用が必要な場合は、チームはモデルの使用を開始するために必要な許可を取得する必要がある。

今後の展開

Lee 氏のスタートアップが現在提供しているものは、中国で顧客にサービスを提供するグローバル企業にとって有利なオプションだ。彼らは、英語と中国語の両方で応答するチャットボットを構築するためにモデルを使用することができる。今後、同社はオープンソースモデルにさらに多くの言語のサポートを追加することで、これらの取り組みを拡大する計画だ。また、OpenAI の GPT シリーズをターゲットにした、より大規模な商用 LLM を立ち上げる計画もあるが、このプロジェクトについては今のところあまり明らかにされていない。

注目すべきは、LLM で特定の言語や市場に焦点を当てている AI スタートアップは01.AI だけではないということだ。先月、中国の巨大企業 Baidu（百度）が LLM「ERNIE 4.0（文心4.0）」のリリースを発表し、Canva や Adobe Creative Clo に匹敵するクリエイティブプラットフォーム「Qingduo」など、ERNIE 4.0 LLM 上に構築された多数の新しいアプリケーションをプレビューした。

同様に、韓国の大手 Naver は、ChatGPT の6,500倍の韓国語データを学習した次世代 LLM「HyperCLOVA X」を提供しており、韓国語の自然な表現だけでなく、韓国社会に関連する法律、制度、文化的背景も理解できるため、ローカライズされた体験に特に有用である。インドの Reliance Industries も Nvidia と協力し、国内の多様な言語について学習させた大規模な言語モデルを構築し、さまざまなアプリケーションに対応している。

【via VentureBeat】 @VentureBeat

【原文】