（前からのつづき）Facebookではネイティブスピーカーのグループが英語以外の20組の言語間での翻訳結果についてクオリティのチェックを行なっている。彼らはM2M-100による翻訳の忠実度を「比較的高い」と評価したが、テキストが意味をなさないようなスラングに対しては直訳する傾向が見られたとしている。また、このモデルはたとえば文章中のコンマ抜けといった文法的な問題によって解釈を誤りがちだということを発見した。Facebookの研究者はM2M-100に関する論文でこう述べている。

「多くの言語に対して、合理的な翻訳結果が確実に得られるようにするためにはかなりの改善が必要です。たとえばコサ語、ズールー語などのアフリカの言語、カタロニア語、ブルターニュ語などのヨーロッパ言語、イロカノ語、セブアノ語などのアジア言語が挙げられます。これらの多くは、インターネットで得られる単一言語のリソースすら限られており、そのことがトレーニングデータの質と量に大いに影響を与えています」。

確かに、言語モデルはデータセットのバイアスを強化して学習してしまい、暗黙的にバイアスのかかった表現で害を与え続けるという証拠は十分に存在する。MIT、Intelおよびカナダのイニシアチブ「CIFAR」のAI研究者はBERT、XLNet、OpenAIのGPT-2、RoBERTaに高レベルのバイアスを発見している。

Allen Institute for AIの研究者は、現時点の機械学習は有害なアウトプットを十分に防ぐことのできる技量をもっていないと主張し、トレーニングセットおよびモデルアーキテクチャの改善の必要性を強調した。この他にも、GoogleはGoogle Translateの土台となっている翻訳モデルが特にトルコ語、フィンランド語、ペルシャ語、ハンガリー語などのリソースが不足している言語に関してジェンダーバイアスをもつという証拠を発見（そして対処する必要性を主張）した。

M2M-100では潜在的なバイアスを軽減するためにどのようなステップを講じているかという質問に対しFacebook AI研究者のAngela Fan氏はVentureBeatへ次のような回答を寄せている。

「今の研究段階では、モデルの正しい部分と正しくない部分を見極めるテストを行いたいと考えています。具体的には有害な翻訳を防ぐために、不適切な文言のフィルターを使用した研究を行いましたが、正確性が高いという結果は（まだ）得られませんでした・・・。私たちはまだ研究段階にいて、システムをもっと公正なものにしようとしているところです。これがFacebookで未だ稼働させていない理由のひとつです」。

チームは翻訳からジェンダー的な単語を取り除く明確なメカニズムを取り入れていないが、M2M-100が犯したミスの種類を理解するための研究を始めているとFan氏は付け加えた。

「BLEUのスコアだけを見るのではなく、私たちがどれほどうまく翻訳できているかをネイティブスピーカーから教えてもらうことも大切です。全体的にみれば、私たちのモデルは大部分の言語において非常にスコアが高いのですが、ウォロフ語、マラーティー語のような低リソースの言語には改善の余地があります」。

【via VentureBeat】 @VentureBeat

【原文】