カリフォルニアを拠点とする Nucleus AI は、Amazon と Samsung Research 出身の人材を擁する4人組のスタートアップだ。同社は5日、最初の製品である220億パラメータの大規模言語モデル（LLM）をローンチし、ステルス状態から脱した。

オープンソースの MIT ライセンスと商用ライセンスのもとで利用可能なこの汎用モデルは、13B から34B のセグメントに対応し、さまざまなタスクや製品に合わせてファインチューニングが可能だ。Nucleus によれば、このモデルは同規模のモデルを凌駕しており、最終的には AI を活用して農業を変革するという同社の目標達成に貢献することになるという。

同社 の CEO Gnandeep Moturi 氏は VentureBeat に次のように語った。

私たちはまず、220億の Transformer モデルから始めます。それから2週間後くらいには、最先端の RetNet モデルをリリースする予定です。これは、コストと推論スピードの面で大きなメリットをもたらすでしょう。

Nucleus AI モデル

Nucleus は、初期の投資家から計算リソースを受け取った後、約3ヵ月半前に22B モデルのトレーニングを開始した。

同社は既存の研究とオープンソースコミュニティを活用し、2,048トークンのコンテキスト長でLLMを事前学習させ、最終的には Web、Wikipedia、Stack Exchange、arXiv、コードからスクレイピングされた大規模な重複排除およびクリーニングされた情報をカバーする1兆トークンのデータで学習させた。

これにより、一般的な情報から学術的な研究、コーディングの洞察まで、モデルのための総合的な知識ベースが確立された。

次のステップとして、Nucleus は、3,500億トークンと7,000億トークンでトレーニングされた22B モデルの追加バージョンと、より大きなコンテキスト長である4096トークンで事前にトレーニングされた2つのRetNetモデル（30億パラメータと110億パラメータ）をリリースする予定である。

これらの小型モデルは、RNN（回帰型ニューラルネットワーク）と Transformer ニューラルネットワークアーキテクチャーの長所をもたらし、スピードとコストの面で大きな利点をもたらす。Moturi 氏によると、社内実験では、このモデルは15倍高速で、一般的に同程度のトランスフォーマーモデルが必要とする GPU メモリの4分の1しか必要としないことが判明したという。

これまでのところ、これが機能することを証明する研究しか行われていない。実際にモデルを作って公開した人はいません。（Moturi 氏）

大きな野望

Nucleus は、このモデルを企業アプリケーションに利用できるようにする一方で、AI 研究でより大きな野心を持っている。

他の LLM 企業である OpenAI、Anthropic、Cohere のようなストレートなチャットボットを構築するのではなく、Moturi 氏は AI を活用して農業用のインテリジェントなオペレーティングシステム（OS）を構築し、需給の最適化と農家の不確実性の軽減を目指す計画だと述べた。

私たちは、Uber がタクシードライバーのために行っているように、農家のために需要と供給を超最適化するマーケットプレイス型のアイデアを持っています。（Moturi 氏）

これは、気候変動や知識不足の問題から、供給の最適化や流通の維持に至るまで、農家が抱えるさまざまな課題を解決する可能性がある。

今、私たちは他のアルゴリズムと競争しているわけではありません。計算機にアクセスできるようになったとき、農業の世界に足を踏み入れるために社内で製品を作ろうとしていました。しかしその後、マーケットプレイス自体の中核として言語モデルが必要だと考え、オープンソースコミュニティからの貢献でそれを構築し始めました。（Moturi 氏）

農業中心の OS と RetNet モデルの詳細については、今月末に発表される予定だ。

【via VentureBeat】 @VentureBeat

【原文】