ジェネレーティブAIの基礎を築いた論文「Attention Is All You Need」著者たちの今——期待される〝OpenAIマフィア〟の出現

2017年の画期的な研究論文「Attention Is All You Need」で、Google は、テキストや画像データ間の連続した関係や深い意味を強力なニューラルネットワークで学習する、つまり AI をより本物の「人」に近づける言語モデル「Transformer」を紹介した。
Image credit: Google

2017年、Google は画期的な論文「Attention Is All You Need」を発表し、今日の AI トレンドの基礎を築いた。

Transformer の最も重要なブレークスルーは、言語モデルの運用フローとは別に、多くの処理作業を同時に行うことでコンピューティングパワーを利用できるようにする「並列化」だ。スタンフォード大学の研究者は2021年の論文で、「AI 分野のパラダイムシフトを促すだけでなく、AI で何が可能かという想像力を広げる」と、Transformer モデルの重要性を指摘している。

Transformer の登場から6年、論文の著者8人は何をしているのだろうか。彼らの多くは Googleを離れ、シリコンバレーの新世代の起業家になっていた。

Transformerを開発したエンジニアのほぼ全員が Google を離れて独立し、現在では合計10億米ドルの新規ベンチャー資金を得て、シリコンバレーに大きな影響を与えている。
Image credit: Meet（創業小衆）

「Attention Is All You Need」という記事を書いた8人のエンジニアや技術の専門家は、次の目標に向かうため、ほぼ全員が Google を去った。

1.Illia Polosukhin 氏——ブロックチェーンに着目し、NEAR Protocol を設立

Illia Polosukhin 氏は、インターネット時代にテクノロジーをリードする組織がデータを完全にコントロールするようになれば、人々が自由にデータにアクセスし利用することができなくなる可能性があると認識し、Google を退職して分散型プラットフォーム「NEAR Protocol」を設立した。これが、彼が Google を離れることを決めた理由だ。

インターネットのエコシステムを革新的に保つために、彼はブロックチェーンに基づく分散型プラットフォーム NEAR Protocol を作り、人々が自由にアプリケーションを開発し、創造性を発揮することができるようにした。

2. Aidan Gomez 氏——大規模言語モデル API 企業 Cohere を設立、独占との戦いを目指す

2019年9月に Aidan Gomez 氏が設立した Cohere は、企業が大規模言語モデルを構築するための API を構築することで、テック大手による AI 研究の独占に対抗することも目的としており、2022年には AI 技術を一般に公開するための非営利ラボ「Cohere For AI」を立ち上げだ。ロイター通信によると、Cohere はすでに時価総額60億米ドルの評価を受けている。

3. Jakob Uszkoreit 氏——バイオテクノロジーに進出、Inceptive を設立

Transformer 開発のリードエンジニア Jakob Uszkoreit 氏は、2021年に退職し、バイオテクノロジー分野に参入した。彼の会社 Inceptive は、深層学習の技術を用いて RNA 分子を設計し、新薬を開発するもので、2千万米ドルの資金を調達している。

4. Niki Parmar 氏と Ashish Vaswani 氏——AIスタートアップ Adept を共同創業

Niki Parmar 氏と Ashish Vaswani 氏も2021年末に Google を退社して Adept を共同設立しており、Niki Parmar 氏は Fortune のインタビューに、「製品開発や科学研究という自分のビジョンを本当に実現できるのは独立起業しかなかった」と語っている。

Adept の評価額は現在10億米ドルで、総資金調達額は4億1,500万米ドルに達している。

5. Noam Shazeer 氏——バーチャルキャラクターに魂を与えるべく Character.ai を設立

Google で20年間働いてきた Noam Shazeer 氏も、2021年末に起業することを選択。同じく Google のエンジニアである友人とともに、ユーザが AI と協力して会話を構成し、ロールプレイのようなテキスト応答を生成できる会話型 AI プラットフォーム「Chracter.ai」を立ち上げた。また、最近、10億米ドルの評価額で1億5,000万米ドルの資金を獲得している。

Lukasz Kaiser 氏は OpenAI に転職し、Llion Jone 氏は Google に留まることを選んだ。Jone 氏は、8人の貢献研究者の中で唯一、Googleに残っているエンジニアである。

結論から言うと、Transformer を開発した8人の技術者だけが独立したビジネスを立ち上げているわけではない。今日に至るまで、彼らは合計10億米ドルを調達するスタートアップを生み出し、シリコンバレーに大きなインパクトを与えている。これらのスタートアップの大きな功績は、2000年の PayPal マフィアの面影を残しているように思える。

PayPal から Google へ。そして、シリコンバレーの次のマフィアは誰なのか？

シリコンバレーのマフィアとは、ある会社を辞めた人たちが、その人脈や経験、スキル、リソースを新しいプロジェクトに投入し、より広いネットワークを形成していく集団のことである。

例えば、PayPal 創業者の Peter Thiel 氏は、現在ビッグデータ解析の Palantir を設立し、Facebook 創業者の Mark Zackerberg 氏など若い才能に投資している、 PayPal 創業時の他のコアメンバーである Keith Rabois 氏やReid Hoffman 氏は、FinTech スタートアップである Square や LinkedIn の創業者である。

実は2010年頃、Google にも PayPal とは異なる種類のマフィア現象が起きており、Forbes では「上級幹部の Google マフィア」と表現された。当時、Google のトップが Facebook や Twitter、Yahoo などのテクノロジー企業に転職したり、プロのスタートアップ投資家になるために退職したりと、劇的なメンバーチェンジを起こし、当時のテクノロジー業界にも衝撃を与えた。

そして今、論文「Attention Is All You Need」の著者たちが率いる起業家たちの波によって、別のマフィアが出現し、彼らはジェネレーティブ AI をテクノロジー業界に導入するためのガイド役となり、Transformer モデルに基づくジェネレーティブ AI スタートアップがシリコンバレーで花開くようになりた。

しかし、このジェネレーティブ AI の波を実際に形成しているのは Google ではなく、ChatGPT を開発し、AI のもう一つの実践者である OpenAI だ。

OpenAI が次の AI マフィアの波を生む

ChatGPT で注目を集めた OpenAI は、過去5年間で30人以上の幹部、エンジニア、研究者が相次いで退社し、そのほとんどが自分の会社を立ち上げ、これらの新規ベンチャーが集めた資本金は総額10億米ドルを超えている。我々は、OpenAI マフィアが形になっていくのを目撃しているのかもしれない。

例えば、OpenAI の GPT-2、GPT-3 モデルの開発に貢献した元研究部門アソシエイトディレクター Dario Amodei 氏とセキュリティ・ポリシー部門アソシエイトディレクター Daniela Amodei 氏は、OpenAIの中核スタッフ10名近くを引き連れ、AI のセキュリティと共有を重視する研究指向スタートアップ Anthropic を設立し、AI 研究のグランドルールを発表した。

＜関連記事＞

OpenAI の元リサーチサイエンティスト Peter Chen 氏も OpenAI を離れ、カリフォルニア大学バークレー校の教授 Pieter Abbeel 氏らと Covariant を共同設立し、新しい AI ロボティクスソリューションの創出に力を注いでいる。OpenAI の元エンジニアリングディレクター David Luan 氏は、元 Googleの研究者 Niki Parmar 氏や Ashish Vaswani 氏と共に Adept の共同設立者の一人であった。

シリコンバレーに度々訪れる起業家ブームは、イノベーションを継続させるための鍵になる。したがって、時流に乗った Transformer や OpenAI マフィアの動向が注視される。

【via Meet Global by Business Next（数位時代）】 @meet_startup

【原文】