Sakana AI を覚えているだろうか？ ほぼ1年前、東京を拠点とするこのスタートアップは、Google 出身の著名な創業者と、高性能モデルを開発するための新しい自動マージベースのアプローチで、AI シーンに鮮烈な登場を果たした。同社は22日、2つの新しい画像生成モデル「Evo-Ukiyoe」「Evo-Nishikie」を発表した。

Hugging Face で利用可能なこれらのモデルは、テキストと画像のプロンプトから画像を生成するように設計されている。しかし、興味深くユニークなキャッチフレーズがある。このモデルは、さまざまなスタイルの通常の画像生成に対応する代わりに、日本で人気のある歴史的な芸術形式である浮世絵に焦点を当てている。浮世絵は17世紀から19世紀にかけて隆盛を極めたが、Sakana は AI の力を使って現代のコンテンツ消費者に浮世絵を復活させたいと考えている。

この動きは、韓国、インド、中国といった国々の企業がそれぞれの文化や方言に合わせたモデルを構築している、AI 分野における最新のローカライゼーションの取り組みである。

新しい Sakana AI モデルに期待することは？

1600年代初頭にさかのぼる浮世絵は、歴史的な風景、風景、力士などの題材に焦点を当てた、日本で人気のある芸術として発展した。このジャンルはモノクロームの木版画を中心に展開したが、やがて複数の木版画を使ったフルカラーの「錦絵」へと発展した。その人気は、デジタル写真の台頭など、さまざまな要因によって19世紀には衰退した。

今、Sakana は2つの画像生成モデルをリリースすることで、歴史的な芸術作品を大衆文化に戻したいと考えている。一つ目の Evo-Ukiyoe は、テキストから画像に変換するもので、特に、桜、着物、鳥など、浮世絵によく見られる要素を説明するテキスト入力を促すと、浮世絵によく似た画像を生成する。ハンバーガーやノートパソコンのような、当時は存在しなかったものを使って浮世絵風アートを生成することもできるが、同社は、結果が浮世絵にまったく似ていないなど、道を踏み外すこともあると指摘している。

このモデルは「Evo-SDXL-JP」をベースにしている。Evo-SDXL-JP は、Stability AI の SDXL やその他のオープンな拡散モデルの上に、 Sakana が新しい進化モデル統合技術を用いて開発したものだ。同社は、京都の立命館大学アート・リサーチセンター（ARC）との提携を通じて入手した、丁寧にキャプションが付けられた2万4,000点以上の浮世絵のデータセットを用いて、Evo-SDXL-JP をファインチューニングするために LoRA（Low-Rank Adaptation）を使用したと述べている。

同社はブログで次のように述べている。

このデータは、ARC が所蔵する浮世絵のデジタル画像から、全体的なものから顔を中心としたものまで、幅広い題材をキュレーションしたものです。また、多様性を考慮し、色彩の美しい多色錦絵にこだわりました。

2つ目のモデル Evo-Nishikie は、モノクロの浮世絵をカラー化するイメージ・トゥ・イメージの製品だ。 Sakana によれば、1色のインクで印刷された歴史的な本の挿絵に色を加えたり、既存の多色刷りの錦絵に全く新しい表情を与えることができるという。ユーザーがすることは、元画像を提供し、着色する要素を説明した指示書と組み合わせることだ。

Sakana によれば、Evo-Ukiyoe で固定プロンプトと条件画像を使用して ControlNet のトレーニングを行うことで、このモデルに命を吹き込んだという。

さらなる研究開発の目標

これらはまだ日本語のプロンプトにしか対応しておらず、非常に初期段階のモデルだが、伝統的な「日本の美」を AI に教えることで、日本の文化の魅力を世界に広め、教育や古典文学の新しい楽しみ方に応用することを Sakana は期待している。

現在、Sakana は Hugging Face 上で作業を始めるためのモデルと関連コードを提供している。リポジトリに含まれる Python スクリプトと LoRA weight は、Apache 2.0ライセンスの下で利用可能だ。

同社は Hugging Face に次のように記している。

このモデルは研究開発目的でのみ提供され、実験的なプロトタイプとみなされるべきです。商用利用やミッションクリティカルな環境への展開を意図したものではありません。このモデルの使用はユーザーの自己責任であり、その性能と結果は保証されません。

Sakana AI はこれまでに、Hugging Face のような先駆的な AI 企業に投資してきた Lux Capital や、2019年に OpenAI に投資したことで知られる Khosla Ventures など、複数の投資家から3,000万米ドルの資金を調達している。

【via VentureBeat】 @VentureBeat

【原文】