モルモン教で育ち、アイダホ州ボイシを拠点とするオープンソース AI プラットフォーム「Civitai」の創業者 Justin Maier（ジャスティン・マイヤー）氏は、この1年、そしてこの数カ月、大変な目に遭ってきた。

彼の会社は、人気のある文字列から画像を生成するジェネレーター「Stable Diffusion」をベースにしたモデルや画像生成コンテンツを発見、作成、共有するコミュニティをサポートするために1年前に設立された。以降、社員4人ユーザ10万人未満ののスタートアップから、VC の Andreessen Horowitz から500米ドルの資金を得た後、社員15人の会社へと爆発的に成長、毎月1,000万人のユニークビジターと何百万もの画像やモデルがアップロードされるまでに急成長した。

同時に、彼は最近2つの深刻な打撃を受けた。Civitai の資金調達ラウンドと同じ週に起こった、娘の1型糖尿病の診断と治療だ。また、独立系テックジャーナリズム・サイト「404 Media」による数カ月にわたる批判的な報道もあった。404 Media は、Civitai が「AI ポルノのマーケットプレイス」を創設し、「非合意の AI ポルノから」利益を得ていること、実在の人物のディープフェイクに懸賞金を導入していること、そして「児童ポルノに分類されうる」画像を生成していることを非難する記事をいくつか掲載している。

しかし、ブリガム・ヤング大学を卒業し、X のプロフィールでは「父親であり、夫であり、開発者」であり、「間違いを少なくしようとしており、その過程で間違いを犯している」と記載されている Maier 氏は、404 Media の報道は Civitai の主要なユーザベースと使用例を誤って表現していると考えている。

彼は VentureBeat の独占インタビューに対し、「この混乱に巻き込まれるのは …… 挑戦的で悲しい」と語った。彼は Civitai を「一般的にこれを良いことに使っている、より多くの人々にアクセスしてもらうためにベストを尽くしている小さな会社」と呼んでいる。

Maier 氏はさらに、Civitai は「安全性を確保するために懸命に取り組んできたが、この業界は非常に動きが速く、関心が急速に高まっているため、我々は日常的に動き、変化し、適応していかなければならない」と述べ、同社のチームの半分はコンテンツのモデレーションに専念していると付け加えた。

Maier 氏は、インターネット上や規制当局の間で繰り広げられているオープンソースのジェネレーティブ AI の是非をめぐる議論の中心に身を置いている。Civitai は、繁栄する新しいコミュニティを生み出すという技術の将来性と、好ましくないコンテンツが以前よりも大規模に作成されるようになり、それに反対する意欲的なプラットフォームの所有者や管理者でさえ抑制することが難しくなるというマイナス面の両方の例として見ることができる。

＜関連記事＞

• ローンチ1年でユーザ300万人突破、他ユーザのプロンプトを活用し画像をAI生成できるコミュニティ「Civitai」

LoRA モデル愛好家のためのプラットフォーム

LoRA モデルとは、特定のキャラクターやスタイルに特化した、ファインチューニングされた小さなモデルで、ファンフィクションやアニメのキャラクターからフォトリアリズム、さらにはファッションまで、AI によるアート生成を通じて自分自身を表現しようとしている。

ちょうど1年前にローンチしたときは、50のモデルがありましたが、それは過去3ヶ月間に作られたすべてのようなものでした。そして今、毎日500のモデルを集めています。

404 Media の告発は不穏なものだが、Maier 氏は、例えば、Civitai の画像生成機能がまだ社内テスト中であった2023年6月（同社は9月に開始したと発表）の数字を使うなど、誤解を招くことが多いと強調した。

Civitai 上のコンテンツの60％が NSFW（職場閲覧注意）であることを示すこれらの数字（5万枚の画像から導き出された数字）とは逆に、今日、Civitai のユーザは毎日300万枚の画像を生成しており、同社は「投稿されたコンテンツの20％未満が「PG-13（ 13歳未満の鑑賞については保護者の厳重な注意が必要とするコンテンツ）」以上である」と述べている。

我々が積極的に防止に努め、解決に向けて最善を尽くしていることで、泥沼に引きずり込まれるのは本当に悲しいことです。

彼はまた、web サイト上の新しい安全センターと、不適切なコンテンツに対する Three Strikes や Zero Tolerance などのポリシーを指摘した。Maier 氏は、このセンターはユーザがポリシーを見つけやすくするために導入されたが、404 Media の報道を受けて導入されたものではなく、ポリシーは報道よりも前にあった、と述べた。

Civitai のセーフティセンターに記載されているポリシーの中には、「未成年者のすべての写実的な写真」と「未成年者のすべての性的描写」の禁止がある。このポリシーによると、Civitai は Amazon Rekognition を使用して、これらのポリシーに違反するコンテンツを自動的に検出し、フラグを立てている。ポリシー FAQには、「我々は、未成年者を含む違反に対して 0 ストライクポリシーを持っています。違反コンテンツは削除され、アップロード者はプラットフォームから追放されます。」と書かれている。

ジェネレーティブ AI を趣味とする人々のプロジェクトとしてスタート

Civitai は「情熱的なプロジェクト」として始まったと Maier 氏は言う。2022年8月に友人から Midjourney を紹介された後、Midjourney の制限（スピードとスタイル）により、彼は Stable Diffusion コミュニティで活動するようになった。

特定のスタイルを意図してモデルを共有している人たちを見かけるようになった。彼らは自分自身をモデルに落とし込む方法を考え出したので、私は家族それぞれのモデルを作りました。

人々は Reddit や Discord のようなサイトでモデルを共有し始め、Maier 氏はモデルを簡単に閲覧できる場所が必要だと感じたと語った。

Civitai は11月に開設され、1月までに10万人のユーザを獲得した。

それ以来、まさに旋風でした。3月にはユーザが100万人に達しました。

Maier 氏は、Civitai がオープンソースのジェネレーティブ AI への参入障壁を下げたと語った。

Midjourney のような消費者向けのツールもあれば、Hugging Face のような企業向けのツールもあります。我々は、機械学習のすべての内部を把握することなく、少し深く潜りたいと思う趣味の人たちの絶妙なバランスを取っています。

〝職場閲覧注意〟コンテンツは以前から問題

このサイトを立ち上げる前から、NSFW（職場閲覧注意）コンテンツのために Stable Diffusion を利用する人がいることは知っていたと Maier 氏は言う。

我々は基本的に、すでに目にしたものに対して事前に準備する必要がありました。我々は、人々が何を見ることができ、何を見ることができないかをコントロールできるようにしたかったのです。

Midjourney や OpenAI の「DALL-E 3」のような他の人気のある画像ジェネレータがそうであるように、なぜ単にサイト上のNSFW コンテンツを完全に拒否しなかったのかと尋ねると、彼は次のように答えた。

我々はそのようなものが投稿されるのを防ぐことができましたが、それはあまりにも早い段階でコミュニティの発展を妨げる危険性があると感じました。我々は画像周りのオープンソース AI 開発の中心にあるようなものです。

例えば、ポルノ目的で人体よりうまく解剖（解剖要素を取り入れた描写）するために、特に Stable Diffusion に基づいて開発された LoRA モデルに関して、何が起きているかを見たと説明した。

その説明として、彼は新約聖書の「毒麦のたとえ」を挙げた。イエスがマタイ伝で語ったこのたとえ話は、雑草を抜こうと躍起になっている使用人たちが、そうすると麦も根こそぎ抜いてしまうので、収穫まで麦と雑草を一緒に育てるようにと警告されたことを描写している。

このような NSFW 的なものを作るためにいる人々は、そのユースケースを超越するような方法で、このようなモデルを作り、推進しているのです。私が興味がないもの、またはサイトに載せたくないものを作っていたとしても、コミュニティが存在するのは貴重なことです。

コミュニティの人々が Stable Diffusion の解剖学的概念を改善しようとするにつれ、より良い顔、目、手、あるいはペニスのモデルをトレーニングするようになり、その結果、人の顔やアニメのようなものにより適したモデルが生まれ、それらはさらに改善されるためにマージされた、と彼は説明した。

これ（Civitai）は、おそらく Stability（Stable Diffusion の開発元）よりも、さらに技術を前進させた趣味人のオープンソースコミュニティである。

Civitai の技術を推し進めることで、ディープフェイクやポルノを可能にする可能性もあるのではないか、という質問に対して、Maier 氏は、解剖学的な概念が重なり合う可能性があることが一つの課題だと答えた。

仮にペニスをキャプチャしなかったとしたら、他の何がその影響を受けるのでしょうか。ペニスを正しくキャプチャしないことで、指の形がおかしくなってしまうのです。

彼は、オリジナルの Stable Diffusion がリリースされた後、Stability AI がヌードを含むものをトレーニングしたことで反発を受けたと指摘した。

彼らは実際に一からトレーニングをやり直し、データセットから何トンものコンテンツを取り除きました。最終的な結果を見ると、Stable Difussion は高解像度の画像で訓練されたモデルだったが、見栄えの良い人物をレンダリングすることはできませんでした。

「ディープフェイク懸賞金」への非難

404 Media の Civitai に関する最近の報道には、実在の人物のディープフェイクに対する「懸賞金」に対する非難も含まれていた。Civitai の担当者によると、「懸賞金」は、ユーザが AI モデルの作成など希望するサービスのリストを投稿し、他のユーザがそのエントリーを提出できるようにするものだという。

例えば、誰かが Tom Cruise（トム・クルーズ）氏の写実的な画像を作成するモデルの懸賞金を投稿するかもしれない。懸賞金の投稿は非公開で、投稿者のみが見ることができると同社は述べている。

懸賞金は、もともと12月（2022年）に考えたものです。人々は基本的に Discord や Patreon でお互いに連絡を取り合い、「私はこういうものが欲しい、私はあなたにチップを送ります」というようなものでした。それで、我々はそれを懸賞金と呼びました。

Civitai の担当者は、次のようにコメントしている。

投稿者が Civitai で懸賞金モデルを公に共有したい場合、少なくとも3つのサンプル画像をそのモデルと一緒に投稿しなければなりません。それは、承認される前に、Civitai に投稿される他のすべてのコンテンツと同じコンテンツモデレーションフィルターと審査に拘束されます。このポリシー（Real People Policy）では、実在の人物を成熟した、あるいは示唆的な文脈で描写することは固く禁じられています 。

Civitai にアップロードされたコンテンツはすべて、AI システムによってスキャンされ、タグ付けされ、画像／動画に何が含まれ、どのようなリソースが使用されたかを特定します。実在の人物のリソースが使用され、示唆的／成熟したコンテンツラベルが検出された場合、サイト上で表示される前に人間のモデレーターによってレビューされます。

Civitai は次のようにもコメントしている。

コミュニティによる不適切なコンテンツの報告も奨励し、インセンティブを与えています。Civitai のユーザベースが懸賞金制度の展開に結集したように、ユーザもまた、このサイトをユーザにとって安全でポジティブな環境に保つことに貢献したいという強い意欲を持っています。懸賞金の獲得と違反コンテンツの報告の両方が、Civitai のサイト内通貨である「Buzz（Reddit の「Karma」に似ている）」によって奨励されます。

一度ダウンロードまたは移動されたモデルの使い方を制御することはできない

オープンソースの AI プラットフォームである Civitai は、サイト上で共有されたモデルがダウンロードされたり、他のプラットフォームに移動された後、どのように使用されるかを制御することはできない。つまり、誰かが Civitai で入手した Tom Cruise 氏を生成するモデルをダウンロードし、モデレーションフィルターの少ないジェネレーターにインストールして、NSFW コンテンツを作成するためにそのモデルを使用することができる。

ただし、Civitai のプラットフォームを利用している間は、この種のコンテンツを作成したり投稿したりすることはできません。

Maier 氏は、自分の肖像が含まれる画像の削除を望む人や、自分のスタイルが含まれる画像の削除を望むアーティストのための手段はあるが、そのようなことを望む人はほとんどいないと述べた。例えば、404 Media の報道では、Civitai に懸賞金をかけたインスタグラムのインフルエンサー Michele Alves 氏について触れている。

インターネットは制御不能な場所のように思えるので、どんな対策が取れるかわからない。ただひとつ思うのは、このことが精神的にどのような影響を与えるかということです。

Maier 氏は、同社は懸賞金を削除したが、実際に Alves 氏から連絡があったことはないと語った。

彼女が心配しているのはわかりました。我々は、人々がこのようなものを削除するよう要求できることを、できるだけ明白にしようと努めています。人々が本質的に自分の肖像権を主張し、AI によって生成されたときに自分が誰であるかを所有するための方法にも取り組んでいます。」

12月には、Civitai はアーティストが「これは私の画像と学習データを使っていると思うのですが、これを削除してもらいたいのですが」と、リソースのクリエイターにリクエストできる機能も追加しました。我々は今までに5、6回、そのようなプロセスを踏んできました。アーティストが実際に手を差し伸べるのはかなり珍しいことです。」

AI 開発は加速する一方

AIの開発は加速する一方だと Maier 氏は言い、6月までは4人のチームだった Civitai や他の企業は、遅れを取らないような政策が策定されるよう「できる限り迅速に動いている」と説明した。

そして、それは企業だけではない。私は先週、ユタ州知事の Spencer Cox 氏と会い、宇宙が発展し続け、国民が安全であることを保証するために、我々がどのように軽いタッチを持つことができるかについて話していました。

Maier 氏に、Civitai が2人の娘に与えた影響について尋ねると、娘の1人は絵を描くのが好きだと説明した。

彼女はアーティストになりたがっているので、時々、彼女が描いた絵（彼女はゾンビの絵を描くのが大好き）を持ってきます。

Maier 氏はまた、Civitai が娘に与える影響を期待している。今月、Civitai は JDRF（若年性糖尿病研究基金）のためのホリデーチャリティ活動を行う。

娘のために少しでも良くなるように、JDRF のためにもっとお金を集めたいんです。

そして、こう続けた。

我々は、我々のプラットフォームが安全であることを深く気にかけています。しかし、それは課題がないわけではなく、人々がさまざまな方法で AI を利用できるようにするための困難がないわけではありません。だから、我々は日々、物事を軌道に乗せるよう努力しています。我々のような小さな会社にとって、それは挑戦ですが、我々は最善を尽くしています。

【via VentureBeat】 @VentureBeat

【原文】