MITは最新の論文にて、既存アプローチに比べさらに環境保全に適したAIモデルのトレーニングシステムについて発表した。同論文によれば、モデリングにおける計算効率を向上させることで二酸化炭素の排出を3桁近く抑えられるとする。

AIを利用したモデリングは、例えば画像合成・タンパク質モデリング、自動運転等の分野で多岐に渡り活用されているが、それらの持続的可能性については疑問符が生まれてきている。昨年6月に、マサチューセッツ大学アマースト校の研究員は、あるモデリングに対して必要な電力量は自動車が排出する米国平均CO2のや約5倍に相当する62万6000ポンドを排出するとのレポートを報告している。

論文で主張される「Once-for-all」ネットワークは、様々なプラットフォームごとに調整可能な多数のサブモデルで構成される事前訓練済みのソリューションだ。各サブモデルでは、ハードウェアの電力と速度の限界と精度・遅延とのトレードオフ関係に基づき、最適なサブモデルを選択する仕組みとなっている。（例えばスマートフォンの場合では、バッテリーや速度、遅延等のトレードオフの最適解に基づいてサブモデルが選択される）。

「Progressive Shrinking」アルゴリズムでは、サブモデル単体の学習効率性をサポートする用途として用いられる。最初に全体のモデルを学習し、続けて学習した全体モデルを同時に利用しながらサブモデルの学習に取り掛かる。最終的には、全てのサブモデルの学習が完了し各プラットフォームに基づいたスピーディーな対応が可能となる。

実験では、1000万以上のアーキテクチャモデルのコンピュータービジョンへのトレーニングは、各サブネットワークに対して費やす時間をはるかに効率性の面で上回ったという。また、このアプローチではモデルの制度並びに効率は失われず、比較して1.5倍から2.6倍の速度を計測したとしている。

現時点においてGitHub上で利用可能なのは、Samsung Galaxy Note8、Samsung Galaxy Note10、Samsung Galaxy S7 Edge、LG G8、Google Pixel、Pixel 2などのデバイスだ。どのデバイスでもIntel XenonやNvidaのGTX 1080Ti、Jetson TX2、V100に対応している。

MITは2017年の論文「Efficient Processing of Deep Neural Networks: A Tutorial and Survey」で既に今回の趣旨と重なる内容を発表していたことは触れておくべきだろう。同研究では、ハードウェア設計変更、コラボレーションやアルゴリズムの変更などAIモデルの計算不可を軽減する方法が複数示されていた。加えて、業界を通したエネルギー消費の分析や機械学習プロジェクトにおけるワット当たりの計算量の標準化の必要性が唱えられていた。

【via Venture Beat】

【原文】