音声セキュリティ、本人確認、詐欺検出のソリューションを提供する Pindrop は15日、あらゆるデジタル音声ファイルや動画ファイルから AI が生成した音声を99％という極めて高い精度で検出する web ベースのツール「Pulse Inspect」のリリースを発表した。

この機能は Pindrop の Pulse 製品群の一部としてプレビュー提供されており、音声が生成されたツールや AI モデルに関係なく検出が可能だ。

これは、AI ベンダーが自社のツールから生成された合成コンテンツを検出するためだけに AI 分類器をリリースする一般的な業界の慣行とは異なる、注目すべき野心的な提案である。

Pindrop は、大規模な音声ディープフェイクのリスクと戦うことを検討している組織に対して、年間サブスクリプションで Pulse Inspect を提供している。しかし、CEO の Vijay Balasubramaniyan 氏は VentureBeat に対し、消費者向けにも、メディアチェックの数を限定した、より手頃な価格帯のサービスを開始する可能性があると語っている。

当社の価格設定は、ディープフェイク検出の定期的なニーズを持つ組織向けに設計されています。しかし、将来の市場の需要に基づき、将来的にはカジュアルユーザにより適した価格オプションを開始することを検討する可能性があります。

Pindrop は音声ディープフェイクの増加に対応

ディープフェイクは以前から存在していたが、テキストベースの生成 AI システムの台頭により、インターネット上ではより一般的になっている。Microsoft や ElevenLabs のような人気のある生成 AI ツールは、有名人やビジネスパーソン、政治家の音声や映像を模倣し、誤った情報や詐欺を広めるために悪用されており、彼らのパブリックイメージに影響を与えている。

Pindrop の内部レポートによると、1,200万人以上の成人アメリカ人が、同意なしに個人的にディープフェイクを作成された人物を知っているという。これらの複製は、画像、動画、音声など何でもあり得るが、すべてに共通しているのは、バイラリティを生かし、ソーシャルメディア上で野火のように広がることだ。

この進化する問題に対処するため、Pindrop は今年初めに Pulse 製品群を発表した。この製品群の最初の製品は、企業がコールセンターに寄せられるディープフェイクコールを検知するのに役立った。現在、Pulse Inspect により、同社は通話にとどまらず、AIが生成した合成アーチファクトがないか、あらゆる音声／動画ファイルをチェックすることを支援している。

疑わしい音声ファイルをアップロードして分析

中核となるのは、企業ユーザが疑わしいファイルをアップロードして分析できる web アプリケーションだ。

以前は、既存のメディアファイル内の合成アーチファクトをチェックする全プロセスで、時間のかかるフォレンジック検査が必要でした。しかしこの場合、ツールは数秒で音声を処理し、AI が生成した音声を含むセクションを含む「ディープフェイクスコア」を提示する。

この迅速な対応により、組織は誤報の拡散を防ぎ、ブランドの信頼性を維持するための事前対策を講じることができる。

トレーニングと分析プロセス

Pindrop によると、350以上のディープフェイク生成ツール、2,000万以上のユニークな発話、40以上の言語で独自のディープフェイク検出モデルをトレーニングした結果、約20万サンプルのデータセットの社内分析に基づくディープフェイク音声の検出率は99％に達したという。

このモデルは、4秒ごとにメディアファイルの合成アーティファクトをチェックし、特に AI が生成した要素と本物の要素の両方を含む混合メディアの場合に、ディープフェイクを正確に分類することを保証する。

Pindrop の技術は、ディープニューラルネットワーク（DNN）と洗練されたスペクトル時系列解析における最近のブレークスルーを活用し、複数のアプローチで合成人工物を識別します。（Balasubramaniyan 氏）

ベンダー固有の検出限界なし

Pindrop は数百以上の生成ツールで検出モデルをトレーニングしているため、Pulse Inspectにはツール固有の検出制限がない。

350以上のディープフェイク生成システムが存在し、ソーシャルメディア上の多くの音声ディープフェイクは、ElevenLabs のような商用ツールではなく、オープンソースツールによるものである可能性が高いです。顧客は、単一のシステムからのディープフェイクの検出に限定されず、すべての生成システムにわたって合成音声を識別できる Pindrop のような包括的なツールを必要としています。（Balasubramaniyan 氏）

ただし、このツールでディープフェイクを識別できない場合があることに注意する必要がある。特に、ファイルの音声が2秒未満であったり、バックグラウンドノイズのレベルが非常に高かったりする場合だ。Balasubramaniyan 氏は、同社が取り組んでいるのは次のようなことだと述べた。

しかし、このツールでディープフェイクを識別できない場合があることに注意する必要がある。特に、ファイルの音声が2秒未満であったり、背景ノイズのレベルが非常に高い場合である。Balasubramaniyan 氏は、同社はこれらのギャップに対処し、検出精度をさらに向上させるために継続的に取り組んでいると述べた。

現在、Pindrop は、メディア企業、非営利団体、政府機関、有名人管理会社、法律事務所、ソーシャルメディアネットワークなどの組織を対象に Pulse Inspect を提供している。Balasubramaniyan 氏は、このツールを使用している顧客の正確な数については明らかにしなかったが、ボリュームベースの年間サブスクリプションを支払うことで、「多くのパートナー」がこの製品を使用していると述べた。TrueMedia.org は、選挙の重要な視聴者がディープフェイクを検出できるようにするための無料製品である。

手動アップロードをサポートする web アプリに加えて、Pulse Inspect は API を介してカスタムのフォレンジックワークフローに連携することもできる。これにより、ソーシャルメディアネットワークが有害な AI 生成動画にフラグを立て、削除するような大量のユースケースが可能になる。

Balasubramaniyan 氏によると、同社は今後、ツールの説明可能性を向上させ、ディープフェイク世代のソースまでさかのぼる機能を追加し、より多くのモダリティをサポートすることで、Pulse スイートを強化する予定だという。

【via VentureBeat】 @VentureBeat

【原文】