元 Google AI 研究者の Jakob Uszkoreit 氏は、ChatGPT や他のほとんどの大規模言語モデル（LLM）を支えることになった Transformers アーキテクチャを紹介した2017年の代表的論文「Attention is All You Need」の共著者8人のうちの1人だ。最近、Nvidia やAndreessen Horowitz などの投資家から1億米ドルを調達し Inceptive を共同設立した Uszkoreit 氏は、仲間の中で唯一バイオテクノロジーに移行したという事実は驚くことではないと、インタビューで VentureBeat に語った。

これは、私たちの利害がかなり重なっている一方で、私たちが非常に多様なグループでもあるという事実の証拠だと思います。（Uszkoreit 氏）

Aidan Gomez 氏（現在 Cohere CEO）、Noam Shazeer氏（現 Character AI CEO）、Llion Jones 氏（現 Sakana CEO）ら、かつての Google Brain pack（現在は全員がGoogle を退社）について、彼はこう語った。

全員が同じ方向に向かってしまうのは、ある意味驚くべきことでした。そうならなかったことが、私の考えでは、このグループがいまだに信じられないほど効果的である具体的な理由です。（Uszkoreit 氏）

パロアルトを拠点とする Inceptive は、Uszkoreit 氏とスタンフォード大学の Rhiju Das 氏によって2021年に設立され、Transformersを使った「生物学的ソフトウェア」を開発することを目的としている。同社は、Pfizer と BioNTech が新型コロナウイルスワクチンの製造に使用した mRNA（メッセンジャー RNA）からなる独自の分子を設計する AI ソフトウェアプラットフォームを構築した。基本的に、同社はニューラルネットワークを使って mRNA を設計し、その分子をテストし、臨床試験を行う製薬会社にライセンス供与する。

Google から生物学的ソフトウェアへ

Uszkoreit 氏にとって生物学は長年の関心事だったが、2020年後半に3つの出来事が立て続けに起こり、Inceptive の立ち上げに心を動かされた。

Uszkoreit 氏によれば、2020年に発表された mRNA 新型コロナウイルスワクチンの有効性の結果があり、ワクチンはすぐに数百万人の命を救い続けたという。そして、DeepMind が「AlphaFold 2」の結果を発表し、チームは Transformer に着想を得たモデルを使用することで、タンパク質の折り畳み問題を真に解決したことが明らかになった。

大規模な Transformer が、特に分子生物学とテクノロジーの分野で、ゴールデンタイムに活躍する準備が完全に整っていることがはっきりしました。（Uszkoreit 氏）

3番目には、全く個人的な出来事だった。同じ時期に Uszkoreit 氏に娘が生まれたのだ。

子供がいる人なら誰でも、ある物事をまったく違った角度から見ることに共感できるだろう。（Uszkoreit 氏）

これら3つの要素によって、Uszkoreit は Transformers を使って新しいワクチンや薬物治療を開発する「道徳的義務」が生まれたと考えた。

データがほとんどなかったからです。タンパク質の構造予測なら、少なくとも数十万例はありますが、RNA の構造予測は2,000例にも満たないのです。（Uszkoreit 氏）

業界における競争

Morgan Stanley の報告書によれば、最近、AI と医薬品開発は切っても切れない関係になっている。投資家と製薬会社が、この分野における AI の500億米ドルの市場機会を利用しようと競争しているおかげである。

しかし、Uszkoreit 氏は競争には無関心だ。

私たちが今いるのは、まさに未開の地なのです。さらに多くの企業、さらに多くの素晴らしいチームが、世界を変える可能性のあるビジネスチャンスに挑戦するのに十分な余地がないとは到底思えません。（Uszkoreit 氏）

それでも彼は、2つの重要な要素が Inceptive のチームを際立たせていると考えている。ひとつは、Inceptive が取り組んでいるのは、生物学の問題でもディープラーニングの問題でもない。

私たちは本当に初心者のマインドセットでこれに取り組まなければなりませんでした。数年先には名前がついているかもしれないが、まだ名前はついていない分野です。チームの多くは世界的な専門家だが、新たな方向性に適応し、後押しされなければなりません。（Uszkoreit 氏）

さらに、非常に複雑な科学的課題もある。

RNA 生化学の手法を適用して、その上で新しいディープラーニングを行えばいいというものではありません。標準的なディープラーニングを適用して、基本的に生化学の領域で限界に挑戦することもできません。それだけでは不十分です。それ以上に、その両方の限界を同時に押し広げなければならないのです。（Uszkoreit 氏）

Inceptive の場合、それはロボット、人間、モデル、ニューラルネットワークを使って実験を行い、新規の合成  mRNA 分子を生成することを意味する。

科学だけでなく、ちょっとした魔法も必要なのだ、とUszkoreit 氏は付け加えた。

長年にわたって結晶化した興味深いキャッチフレーズのひとつは、魔法、魔法のような仕事、つまり私たちの仕事の大半は、ビーチで起こるということです。ウェット（液体、生物学的物質、化学物質を操作する研究室）とドライ（計算、物理学、工学に焦点を当てた研究室）が調和して出会う場所です。（Uszkoreit 氏）

ジェネレーティブ AI の注目は LLM ラボに集まっている

ジェネレーティブ AI の宣伝は、OpenAI、Anthropic、Cohere など、LLM を開発している大規模な AI 研究所に集中しているが、Uszkoreit 氏は Inceptive の研究が注目されるために手を挙げる必要を感じていない。

「私たちが成功すれば、広告は必要なくなるでしょう」と述べ、ジェネレーティブ AI の宣伝はいずれ冷めるだろうと付け加えた。しかし最終的には、天気予報であれ、気候モデリングであれ、言語理解であれ、タンパク質の構造予測であれ、mRNA 分子の作成であれ、実に広範なさまざまなアプリケーションで、大量の価値が生み出されていることを認識することが重要だと彼は語った。

これらの試みの基礎となる発見の多くは、他の多くの試みを改善したり、役立てたりする可能性がかなり高いです。これはまさに、すべての船を持ち上げる潮流なのです。（Uszkoreit 氏）

Transformers の仲間と連絡を取り合う

Transformersの論文が発表されてからまだ6年しか経っていないため、Uszkoreit 氏はノスタルジーに浸るには早すぎると考えている。しかし、共著者8人のグループは間違いなく連絡を取り合っている。

ちょっとしたグループチャットがあります。他の共著者たちからは、基本的に Google を離れて以来、素晴らしいアドバイスをもらっています。（Uszkoreit 氏）

Transformers の論文がこれほどまでに洗練されたものになったのは、研究者ひとりひとりの多様な関心事があったからだと彼は繰り返した。

この結果は、基本的に正しく行うために多くのことを必要とします。そして、それには加速器がどのように機能するかを本当によく理解している人々による慎重な実装が含まれており、非常に慎重な実験デザインと、ディープラーニングの全てのテクニックを駆使することができる、おそらくわずかな直感的なアイデアが必要です。（Uszkoreit 氏）

そのようなことはすべて一緒にならなければならず、組み合わさって初めて機能するのだ、と彼は付け加えた。

それは、連絡を取り続けるには非常に興味深い人々であるという事実と密接に関係しています。（Uszkoreit 氏）

【via VentureBeat】 @VentureBeat

【原文】