Sparticle社、日本語LLM開発を加速。革新的なAI技術で日本語処理能力が飛躍的に向上させる
先日、米国の投資ファンドや他の機関投資家から約5億円（350万ドル）の資金を確保した、日本の人工知能（AI）スタートアップ、Sparticle株式会社（本社、中央区日本橋）は、大規模な日本語モデル（LLM）の開発を強化に着手した。
Sparticle社は、2022年11月、OpenAIがインタラクティブな生成型AI「ChatGPT」の潜在能力を素早く認識し、生成型AIの事業拡大を図りました。今年の6月から、彼らはGPT技術を活用して、企業や個人の情報から学習するカスタムAIエージェントの作成を可能にし、「GPTBase」というサービスを提供しています。
Sparticle社は、Amazon Web Services（AWS）ジャパンによるLLM開発支援プログラムパートナーとして選出され、今回のLLM開発は、その一環であるとのことだ。
Sparticleが開発した大規模言語モデル（Llama2-13B-Felo LLM）は、米国のMETAが開発したLlama2に基づいている。Llama-2は3つの異なるサイズで提供されており、それぞれ7B、13B、70Bのパラメータを持っているが、今回、Sparticle社は、この内、日本語および英語データで事前学習を行なった７億パラメータ（7b）及び、13億パラメータ（13b）のベースモデルで、これらのモデルは、業務特化すれば、それぞれ7BはGPT2.0相当、13BはGPT3.5相当となる。また、7bモデルは、オープンソースとして無料公開される。この新しいモデルは、日本語に特化した自然な会話や文章生成の能力を高めることを目指しており、7bモデルは、入出力の長さとして8,192トークンに対応しており、日本語の文章として約4,096文字を一度に処理することができるという。
