（前回からのつづき）Facebookは、逆翻訳を使用してリソースの少ない言語のデータを補足した。これは、ある言語で翻訳モデルをトレーニングしそれを使用して特定の言語に翻訳、その翻訳データから逆翻訳を行い新たなデータを生成する方法だ。

たとえば、目標が中国語からフランス語の翻訳モデルをトレーニングすることであった場合、Facebookの研究者はフランス語から中国語への翻訳モデルをトレーニングし、フランス語のすべての翻訳データを使用して中国語の逆翻訳データを生成する。 M2M-100の開発過程ではマイニングされた言語データに、このようにして作られたデータを追加しこれまでに見られなかった言語ペアのデータを作成した。

Facebookの研究者によるとM2M-100はモデルの並列処理を活用し、現在の2言語間の翻訳モデルよりも2桁大きいモデルサイズのトレーニングを行なう。大規模なモデルをトレーニングするためのPyTorch向けライブラリFairscaleを使用して、トレーニング中モデルは数百のグラフィックカードに分割されるが基礎となるデータは同じであるため、それぞれのカードはデータの一部ではなくモデルの一部をトレーニングする。

M2M-100がパフォーマンスを低下させることなく拡張できるよう、Facebookの研究者は、モデルのパラメータ（この場合、予測に影響を与える変数のこと）を重複しない言語グループに分割した。この戦略の組み合わせによりモデルの容量は100倍に増加し、Facebookが高精度であると自負する言語翻訳を提供できるようになった。

Facebookは154億のパラメーターによって、追加のモデル容量でトレーニングをした最もデータの多い高リソース言語ペアでの改善がM2M-100で見られたと述べている。 「モデル容量の高密度スケーリングと言語固有のパラメーター（計30億個）を組み合わせることで、大規模モデルの利点と、さまざまな言語に特化したレイヤーを学習する機能を提供します」とFan氏は書いている。（次につづく）

【via VentureBeat】 @VentureBeat

【原文】

（前回からのつづき）M2M-100はFacebookの多言語モデルであるXLM-Rに基づいて構築されており、1つの言語データから学習し、100の言語でタスクを実行する。 7月、Facebookは51の異なる言語をサポートする音声認識モデルをリリースした。さらに最近では、言語間で文をマイニングするための多数の言語によるラベルなしデータと優れたモデルをトレーニングするCRISSの詳細を明らかにした。Facebook AI Research ParisのデータサイエンティストであるAngelaFan氏はブログの投稿で次のように書いている。

「何年もの間AI研究者は、さまざまな異なるタスクをすべての言語で理解できる単一で普遍的なモデルの構築に取り組んできました。すべての言語、方言、モダリティをサポートする単一モデルは、より多くの人々により良いサービスを提供し、翻訳を最新の状態に保ち、何十億人もの人々に対して平等で新しい体験を生み出す手助けとなります」。

M2M-100では、Facebookの研究者はさまざまなソースの表面上高品質なデータでマイニングを行うために新しい言語識別技術を用いた。1つは、自然言語処理モデルのゼロショット転送を実行するオープンソースツールキットであるLanguage-Agnostic Sentence Representations（LASER）だ。ほかにも、翻訳モデルをトレーニングするための”10億スケール”のbitextデータセットCCMatrixと、クロスリンガルなウェブドキュメントペアの大規模テストコレクションであるCCAlignedの2つがある。

Facebookの研究者は、翻訳の需要が統計的にまれなペア（アイスランド語ーネパール語やシンハラ語ージャワ語など）は除いて、分類、地理、文化の類似性に基づき言語を14のファミリーにグループ化する「ブリッジマイニング戦略」を導入した。同じグループに属する言語を使う国に住む人々は、より頻繁にコミュニケーションを取り、高クオリティな翻訳の恩恵がより受けやすいだろうという直感があったからだ。たとえば、あるファミリグループには、ベンガル語、ヒンディー語、マラーティー語、ネパール語、タミル語、ウルドゥー語など、インドで話されているさまざまな言語が含まれる。

Facebookの研究者は、それぞれのファミリーグループの言語をつなぐために、少数の「ブリッジ言語」、つまり各ファミリーグループごとに1〜3つの主要な言語を選定した。たとえば、ヒンディー語、ベンガル語、タミル語は、データセット内のインド・アーリア語のブリッジ言語になっている。次に、これらのブリッジ言語のすべての組み合わせ可能なトレーニングデータをマイニングし、前述の75億個の文のデータを取得した。（次につづく）

【via VentureBeat】 @VentureBeat

【原文】