Meta AI の研究者らは11月30日、AI モデルの新しいスイート「Seamless Communication」を開発したと発表した。このモデルは先週、研究論文や付随データとともに公開された。

フラッグシップモデル「Seamless」は、他の3つのモデル（SeamlessExpressive、SeamlessStreaming、SeamlessM4T v2）の機能を1つの統一されたシステムに統合したものである。研究論文によると、Seamless は「リアルタイムで表現力豊かなクロスリンガル（言語横断）コミュニケーションを可能にする、一般に利用可能な最初のシステム」である。

世界共通のリアルタイム翻訳技術としての Seamless の仕組み

Seamless は、ブログを介したコミュニケーションのための AI 利用における新境地を示すものだ。3つの洗練されたニューラルネットワークモデルを組み合わせることで、話し手の声のスタイル、感情、韻律を保持しながら、100以上の話し言葉と書き言葉間のリアルタイム翻訳を可能にする。

1. 「SeamlessExpressive」は、言語間の翻訳時に話し手の声のスタイルと感情のニュアンスを保持することに重点を置いている。論文にあるように、「翻訳は人間の表現のニュアンスを捉えるべきです。既存の翻訳ツールは会話の内容を捉えることに長けていますが、一般的に出力は単調でロボット的な音声合成システムに依存しています」と述べている。
2. 「SeamlessStreaming」は、わずか約2秒の待ち時間でほぼリアルタイムの翻訳を可能にする。研究者によると、ほぼ100の話し言葉と書き言葉でこのような高速翻訳を実現した「初の大規模多言語モデル」だという。
3. 「SeamlessM4T v2」は 、他の2つのモデルの基礎となるものである。これは、昨年リリースされたオリジナルモデル「SeamlessM4T」のアップグレード版である。論文によれば、新しいアーキテクチャは「テキストと音声出力の一貫性の向上」を実現する。

まとめると、Seamless は、ユニバーサル音声翻訳機をSFの概念から現実の技術に変えるために必要な技術基盤について、極めて重要な示唆を与えてくれる。（研究論文）

グローバルコミュニケーションを変革する可能性

このモデルの機能によって、スマートグラスを使ったリアルタイムの多言語会話から、ビデオやポッドキャストの自動吹き替えまで、音声を使った新しいコミュニケーション体験が可能になるかもしれない。研究者らは、コミュニケーションに苦労している移民やその他の人々にとって、言語の壁を取り払うのに役立つ可能性も示唆している。

我々の研究を公開することで、研究者や開発者が、相互接続と相互依存がますます強まる世界において、多言語のつながりを埋めることを目的とした技術を構築することで、我々の貢献の影響力を拡大できることを期待している。（研究論文）

しかし、研究者たちは、この技術が音声フィッシング詐欺やディープフェイク、その他の有害なアプリケーションに悪用される可能性もあることを認めている。モデルの安全性と責任ある使用を促進するため、研究者らは音声透かしや幻覚のような毒性出力を低減する新しい技術など、いくつかの対策を実施した。

Hugging Face と Github で公開

オープンな研究とコラボレーションに対する Meta のコミットメントに従い、Seamless は Hugging Face と Github で一般公開された。

このコレクションには、Seamless、SeamlessExpressive、SeamlessStreaming、SeamlessM4T v2 の各モデルと付随するメタデータが含まれている。

これらの最先端の自然言語処理モデルを自由に利用できるようにすることで、Meta は、研究者や開発者たちが、言語や文化を超えて人々をつなげるために、この研究を基にしたり、拡張したりできるようにしたいと考えている。このリリースは、オープンソース AI における Meta のリーダーシップを強調し、研究コミュニティに貴重な新しいリソースを提供する。

全体として、Seamless がもたらす多次元的な体験は、機械支援による言語横断的コミュニケーションの実現方法を一歩変える可能性がある。（研究論文）

【via VentureBeat】 @VentureBeat

【原文】