ElevenLabs、AIがノイズを除去する「Voice Isolator」をローンチ——月に10分まで無料、Adobeに対抗

音声クローニング、音声合成や音声吹き替えで知られるスタートアップ ElevenLabs は、「AI Voice Isolator」という新たなツールを製品ポートフォリオに加えた。

4日から利用可能なこのツールは、映画からポッドキャストや YouTube 動画まで、クリエイターが持つあらゆるコンテンツから不要な周囲のノイズや音を除去することができる。

同社が Reader アプリを発表してからわずか数日後のことであり、（いくつかの制限はあるが）無料で使用できる。しかし、この機能は市場において全く新しいものではないことにも注意しなければならない。Adobe を含む他の多くのクリエイティブ・ソリューション・プロバイダは、コンテンツの音声品質を高めるツールを提供している。あとは、Voice Isolator がそれらと比較してどの程度効果的であるかということだ。

AI Voice Isolator はどのように機能するのか？

映画やポッドキャスト、インタビューなどのコンテンツを収録する際、クリエイターはしばしばバックグラウンドノイズの問題に直面する。このようなノイズは、撮影中には気づかないかもしれないが、最終的なアウトプットの品質に影響を与える可能性がある。

この問題を解決するために、多くの場合、録音段階で周囲の雑音を除去するアンビエント・ノイズ・キャンセレーション機能付きのマイクを使用する傾向がある。しかし、多くの場合、特にリソースが限られているアーリーステージのクリエイターにとっては、利用しにくいかもしれない。そこで、ElevenLabs の新しい Voice Isolator のような AI ベースのツールが活躍する。

この製品はポストプロダクションの段階で機能し、ユーザは強化したいコンテンツをアップロードするだけでよい。ファイルがアップロードされると、基礎となるモデルがそれを処理し、不要なノイズを検出して除去し、出力として明瞭なダイアログを抽出する。

ElevenLabs によれば、この製品はスタジオで録音されたコンテンツと同レベルの品質で音声を抽出するという。また、同社のデザイン責任者 Ammaar Reshi 氏は、このツールが落ち葉集めのためのリーフブロワーのノイズを除去し、話者の明瞭な音声を抽出するデモを公開した。

https://twitter.com/ammaar/status/1808590587274338520

Voice Isolator の実際の適用性を試すため、3つのテストを行った。最初のテストでは、3つの別々の文章を話し、それぞれ背景の異なるノイズに邪魔された。他の2つのテストでは、3つの文章に異なるノイズが不規則にランダムに発生した。

いずれの場合も、このツールは数秒で音声を処理することができた。最も重要なのは、ドアの開閉やテーブルを叩く音、拍手や家財道具を動かす音など、ほとんどすべてのケースで雑音を除去し、歪みのない明瞭な音声を抽出できたことだ。唯一、壁を叩く音と指を鳴らす音だけが認識・除去できなかった。

同社で成長を担当する Sam Sklar 氏はまた、現段階では音楽ボーカルには対応していないが、ユーザはそのユースケースで試すことができ、曲によっては成功する可能性があると語った。

改良の見込み

Voice Isolator の不規則に発生するバックグラウンドノイズを除去する能力は、確かに平坦なノイズにしか対応しない他の多くのツールより際立っているが、まだ改善の余地がある。他のツール同様、ElevenLabs がその性能をさらに向上させてくれることを期待したい。

ここで重要なのは、同社はこのツールの基礎となるモデルや、このツールで使用される録音がモデルのトレーニングに使用されているかどうかについては、多くを語っていないということだ。Sklar 氏は、モデル作成に何が使われているのか、その詳細を共有することはできないとしながらも、同社にはプライバシーポリシーにリンクされたフォームがあり、ユーザがトレーニングのための個人データの使用をオプトアウトできるようになっていることを強調した。

現在のところ、同社は Voice Isolator をプラットフォームを通じてのみ提供している。正確なスケジュールは不明だが、数週間以内に API アクセスをオープンする予定だ。ElevenLabs は、このツールを試すために web サイトやアプリを訪れるユーザに対して、一定の使用制限付きで無料アクセスを提供している。