現在の人工知能（AI）を取り巻く環境では、 大規模言語モデル（LLM）の話題から、ますます大規模なニューラルネットワークの開発競争が起きている。しかし、すべてのアプリケーションが、大規模なディープラーニングモデルの計算量とメモリの要求をできるわけではない。

このような環境の制約が、いくつかの興味深い研究の方向性につながっている。MIT（マサチューセッツ工科大学）の CSAL（コンピュータ科学・人工知能研究所）の研究者が開発した新しいタイプのディープラーニングアーキテクチャ「Liquid Neural Networks」は、特定の AI 問題に対して、コンパクトで適応性が高く、効率的なソリューションを提供する。これらのネットワークは、従来のディープラーニングモデルに内在する課題のいくつかに対処するように設計されている。

Liquid Neural Network は AI の新たなイノベーションに拍車をかける可能性があり、ロボット工学や自動運転車など、従来のディープラーニングモデルが苦戦している分野では特におもしろいことが起きそうだ。

Liquid Neural Networks とは

MIT CSAIL のディレクタ Daniela Rus 氏は、VentureBeatに次のように語った。

ロボットでは、大規模な言語モデルを実行することはできません。なぜなら、そのための計算能力とストレージスペースがないからです。

Rus 氏と彼女の共同研究者たちは、クラウドに接続しなくてもロボットのコンピュータ上で実行できるように、正確で計算効率の高いニューラルネットワークを作りたかったのだ。

同時に彼らは、302個以下のニューロンで複雑なタスクをこなす線虫 C. Elegans のような、小さな生物に見られる生物学的ニューロンの研究にもインスパイアされた。その結果生まれたのが Liquid Neural Networks（LNN）である。

Liquid Neural Networks は、従来のディープラーニングモデルとは大きく異なる。計算コストが低く、訓練中にニューロンを安定させる数学的定式化を用いている。LNN の効率性の鍵は、動的に調整可能な微分方程式の使用にあり、これにより学習後の新しい状況に適応することができる。これは一般的なニューラルネットワークにはない能力である。

基本的に私たちが行っているのは、2つの洞察によって、既存のモデルよりもニューロンの表現学習能力を高めることです。第一に、学習中のニューロンの安定性を高める、ある種のお行儀の良い状態空間モデルです。そして、シナプス入力に非線形性を導入することで、学習と推論の両方でモデルの表現力を高めています。（Rus 氏）

LNN はまた、従来のニューラルネットワークとは異なる配線アーキテクチャを使用しており、同じレイヤー内で横方向接続とリカレント接続が可能である。基礎となる数学的方程式と斬新な配線アーキテクチャにより、リキッドネットワークは連続時間モデルを学習し、その挙動を動的に調整することができる。

このモデルは、見た入力に基づいて訓練後に動的に適応させることができるので、非常に興味深いです。そのため、ニューロンのこの定式化によって、より柔軟な適応が可能になるのです。（Rus 氏）

Liquid Neural Networks のメリット

LNN の最も顕著な特徴のひとつは、そのコンパクトさである。例えば、古典的なディープ・ニューラル・ネットワークでは、車を車線内に維持するといったタスクを実行するために、約10万個の人工ニューロンと50万個のパラメータを必要とする。これに対し、Rus 氏と彼女の同僚たちは、わずか19個のニューロンで同じタスクを達成する LNN を訓練することが可能だ。

「この大幅なサイズ縮小は、いくつかの重要な結果をもたらす」と Rus 氏は言う。第一に、ロボットやその他のエッジデバイスに搭載されている小型コンピューターでモデルを実行できるようになる。そして第二に、ニューロンの数が減ることで、ネットワークの解釈可能性が格段に向上する。解釈可能性は AI の分野では重要な課題である。従来のディープラーニングモデルでは、モデルがどのようにして特定の判断に至ったかを理解するのは難しい。

ニューロンが19個しかない場合、発火パターンに対応する決定木を抽出することができます。それが10万個以上では不可能なのです。（Rus 氏）

LNN が取り組むもうひとつの課題は、因果関係の問題だ。従来のディープラーニングシステムは、因果関係を理解するのに苦労することが多く、解決しようとしている問題とは関係のない偽のパターンを学習してしまう。一方、LNN は因果関係をよりよく把握しているように見えるため、未知の状況に対してよりよく汎化することができる。

例えば、MIT CSAIL の研究者たちは、夏の森の中で撮影されたビデオフレームのストリームに対して、物体検出のためにLNNと他のいくつかのタイプのディープラーニングモデルを訓練した。訓練した LNN を別の環境でテストしたところ、やはり高い精度でタスクを実行することができた。対照的に、他のタイプのニューラルネットワークは、設定が変わると性能が大幅に低下した。

これらのネットワークは、タスクのコンテキストではなく、タスクに焦点を当てているためです。他のモデルは課題を解くことに成功しませんでした。私たちの仮説では、他のモデルは課題だけでなく、テストの文脈を分析することに多くを依存しているからだと考えています。（Rus 氏）

各モデルから抽出されたアテンションマップによると、LNN は、運転タスクでは道路、物体検出タスクでは対象物体など、タスクの主な焦点に高い値を与える。他のモデルは、入力の無関係な部分に注意を向ける傾向がある。

全体として、私たちはより適応性の高いソリューションを実現することができました。なぜなら、ある環境でトレーニングすれば、それ以上のトレーニングなしに、そのソリューションを他の環境に適応させることができるからです。（Rus 氏）

Liquid Neural Networks の応用と限界

LNN は主に連続的なデータストリームを扱うように設計されている。これには、ビデオ・ストリーム、オーディオ・ストリーム、温度測定シーケンスなどが含まれる。

一般的にリキッドネットワークは、時系列データがあるときにうまく機能します。リキッドネットワークがうまく機能するためには、シーケンスが必要なのです。しかし、ImageNet のような静的なデータベースにリキッドネットワークのソリューションを適用しようとすると、あまりうまくいきません。（Rus 氏）

LNN の性質と特性は、データが機械学習モデルに継続的に供給される、ロボット工学や自律走行車のような計算量に制約があり、安全性が重視されるアプリケーションに特に適している。

MIT CSAIL のチームは、すでにシングルロボット環境で LNN をテストし、有望な結果を示している。将来的には、マルチロボットシステムや他の種類のデータにテストを拡張し、LNN の能力と限界をさらに探求する予定だ。

【via VentureBeat】 @VentureBeat

【原文】