Facebookらが取り組むファッションのAI「Fashion++」、最小限の服装アレンジを提案し人々をもっと素敵にする

SHARE:

ありとあらゆる衣類が出回る中、それらを組み合わせたファッションに、どんな手を加えれば全体的なスタイルを改善できるだろうか? これこそが、プレプリントサーバの Arxiv.org で発表された論文で、コーネル大学、ジョージア工科大学、Facebook AI Research の研究者らが最近調査した疑問だ。論文に記載されたアプローチが目指すのは、ファッション性に大きく影響するかもしれない服装への微調整を特定することだ。

人間と機械の知力を組み合わせてスタイルを提案したり、衣服にカラーフィルタをかけたり、2つの服装を比較したり、また手持ちの衣類を記録したりするコネクテッドカメラ、Amazon の Echo Look を連想させる。だが研究者らは、自分たちの技法は他のほとんどの技法よりも洗練されていると断言する。

共著者らは次のように述べている。

ココ・シャネルの有名な素晴らしい言葉にもあるように、小さな変更でファッション性に大きな影響を与えられるということが提唱されています。アクセサリーを外したり、もっとネックラインが高いブラウスを選んだり、シャツの裾を入れたり、あるいはもう少し色の濃いパンツに変えたり、わずかな調整で今の服をずっとおしゃれに見せることができます。こういった見解を動機とし、私たちは最小限の変更で服装を改善するというコンピュータビジョンの新たな課題に取り組みました。

この目標はいくつかの技術的な課題を伴うと研究者らは指摘する。まず第一に、AI モデルのトレーニングに関する課題だ。各服装のより優れたバージョンと劣るバージョンの画像の組み合わせがあればシステムに違いを教えることはできるかもしれないが、こういったデータはすぐに入手できるものではないし、流行が変わるにつれて情報は古くなるだろう。またこういった画像の組み合わせを手に入れることができたとしても、前述のモデルはポジティブとネガティブの間の微妙な違いを識別し、オリジナルの衣類を特定し、それと各々の微調整ごとに相乗効果がどう変わるかを推論しなくてはならない。

研究者らは Fashion++ というアプローチで解決に挑んだ。Fashion++ は、1万5,000件を超えるファッション画像でトレーニングを受けた画像生成システムで合成されたエンコーディングに基づいて動作する。オリジナルの服装を与えられると、それを構成する要素(バッグ、ブラウス、ブーツなど)をそれぞれのコードにマッピングし、続いてエンコーディングをアップデートする編集モジュールとして、1万2,000件以上の服装写真(およびそれぞれのネガティブな変更)を入力した「識別ファッション性(discriminative fashionability)」モデルを使う。これにより服装のスコアが最大化され、スタイルが改善される。

Fashion++ は、編集内容を最適化した後、2つのフォーマットでアウトプットを提供する。1つ目は提案内容にもっともマッチする衣料品の在庫検索結果だ。もう1つは、同一人物に編集後の服装エンコーディングから生成された新たなファッションを着せたレンダリングだ。双方のパターン、色、形、フィット感を考慮し、研究者らは各衣類のエンコーディングを基本的な生地や形の構成要素へと因数分解し、編集モジュールが変更箇所や変更内容を制御できるようにした(シャツの形はそのままで色を微調整する、ネックラインを変更したりシャツの裾を入れたりする。あるいは、袖をまくるのに対してパンツをゆったり目にするなど)。さらに、更新の軌道から、もっとも変更の少ない状態からもっともファッション性の高い状態へと移行するまでの一連の編集内容を最後に確認できるようにした。

同チームによると、100件以上のテスト用の服装と Amazon の Mechanical Turk 経由で募った300人近くの人間が関与した人間の知覚研究で、Fashion++ が変更を加えた後の方がよりファッション性に優れていると92%の回答者が評価した。さらに、すでにファッション性が高い服装に Fashion++ が修正を加えたところ、84%が同程度のファッション性あるいはよりファッション性が高いと回答している。

論文の共著者らはこう述べている。

結果はかなり前途有望です。今後は、トレーニングソースの構成内容を広げていく予定です。例えば Instagram などより広範なソーシャルメディアプラットフォームを活用したり、入手可能な在庫のあるものを優先した編集内容にしたり、あるいは個人の好みのスタイルや着用場面に応じて改善点を生成したりしていきます。

【via VentureBeat】 @VentureBeat

【原文】

----------[AD]----------