McAfee は、フェイクニュースやその他の詐欺で消費者を騙すために音声を使用する AI 生成ディープフェイクを検出する方法として、Project Mockingbird を導入した。

McAfee は、AI が生成する詐欺の脅威の増大に対抗するため、AI を搭載した音声ディープフェイク検出技術を開発し、Project Mockingbird と名付けた。

ラスベガスで開催される大規模な技術見本市「CES 2024」で発表されたこの革新的な技術は、AI が生成した音声を操作して詐欺を行い、大衆の認識を操作するサイバー犯罪者から消費者を守ることを目的としている。

このような詐欺では、例えば添付の動画にあるように、詐欺師は有名なニュースキャスターのような正当な発言者から動画を始める。しかし、その後、偽の素材を使用し、人間のスピーカーが実際には発したことのない言葉をスピーカーに発語させる。McAfee の CTO  Steve Grobman（スティーブ・グロブマン）氏は、VentureBeat のインタビューで、「これは音声と映像の両方を使ったディープフェイクだ」と語った。

McAfee は、デジタルライフに影響を与える脅威から消費者を守ることに全力を注いできました。従来から、マルウェアの検出や危険な web サイトへのアクセス防止に取り組んできました。明らかに、ジェネレーティブ AI によって、サイバー犯罪者の急速な方向転換が見られます。悪質な行為者がジェネレーティブ AI を使って幅広い詐欺を行うようになりつつあります。（Grobman 氏）

さらに、Grobman 氏は次のように語った。

選挙サイクルが進むにつれて、合法的な政治キャンペーンコンテンツの生成だけでなく、偽情報のために様々な形でジェネレーティブ AI が使用されることが十分に予想されます。そのため、McAfee はここ数年、さまざまな製品やバックエンド技術に、こうした機能を検出できる適切なテクノロジーを組み込むための投資を増やしてきました。

他のハッキングされた素材と組み合わせて使えば、ディープフェイクは簡単に人を騙すことができる。例えば、『スパイダーマン2』のメーカーである Insomniac Games は、ハッキングされ、個人データが web 上に流出した。いわゆる合法的な資料の中には、ディープフェイクコンテンツが含まれている可能性があり、被害企業の本物のハッキング資料と見分けるのは難しいだろう。

私たちが CES で発表するのは、私たちが構築した新しいテクノロジーのデモンストレーションの最初の公開セットです。私たちはあらゆる領域で活動しています。画像検出、ビデオ検出、テキスト検出の技術に取り組んでいます。最近私たちが多くの投資をしているのは、音声ディープフェイクです。

その理由の一つは、敵が偽コンテンツを作成することを考えた場合、音声の発信元が必ずしも本人ではないあらゆる種類のビデオを使用するオプションがたくさんあるからです。古典的なディープフェイクでは、誰かが話していて、映像と音声が同期しています。しかし、ナレーターではない他の映像が写っているときに、音声トラックをロールの上に置いたり、他の映像の上に置いたりする機会はたくさんあります。（Grobman 氏）

Project Mockingbird

Project Mockingbird は、話されている言葉の聞き取りから、音声が本当に人間かどうかを検出する。これは、説得力のあるディープフェイクを作成するためにジェネレーティブ AI が使用されるという懸念に対抗する方法だ。

ポルノ動画に登場する有名人のディープフェイクを作成することは以前から問題になっているが、そのほとんどはディープフェイク動画サイトに限られている。消費者がそのような詐欺を避けるのは比較的簡単だ。しかし、音声ディープフェイクの手口では、問題はより狡猾だとGrobman 氏は言う。このような音声ディープフェイク詐欺は、ソーシャルメディア上の投稿の中にたくさんある、と彼は言う。彼は、2024年のアメリカ大統領選挙を控え、こうした音声ディープフェイク詐欺の増加を特に懸念している。

AI の急速な進歩は、サイバー犯罪者が欺瞞的なコンテンツを作成することを容易にし、操作された音声やビデオを悪用した詐欺の増加につながっている。こうした詐欺の手口は、愛する人になりすまして金銭を要求するボイス・クローニングから、音声を変えて本物の動画を操作するものまで多岐にわたり、消費者がデジタル領域で真偽を見分けることを困難にしている。

McAfee Labs は、消費者が操作されたコンテンツと本物のコンテンツを区別することが急務であると考え、AI が生成した音声を検出できる業界最先端の AI モデルを開発した。Project Mockingbird は、AI を活用したコンテキスト、行動、カテゴリの検出モデルを組み合わせたもので、動画内の悪意を持って改変された音声を識別し、保護する精度は 90% を超えている。

Grobman 氏は、ディープフェイクと戦うための技術は重要であると述べ、個人がデジタルに関わる際に十分な情報を得た上で意思決定するのに役立つ天気予報に例えた。Grobman 氏は、McAfee の新しい AI 検出機能は、ユーザがデジタル環境を理解し、オンラインコンテンツの真偽を正確に判断するのに役立つと主張した。

この AI 検出技術の使用例は多岐にわたり、AI が増加する中、消費者にとって非常に貴重なものとなるでしょう。AI が生成する詐欺や偽情報が増加する中、消費者にとって非常に貴重なものとなるでしょう。McAfee の音声ディープフェイク検出機能により、何が本物か偽物かを知る力を消費者の手に直接委ねることになります。

私たちは、消費者がクローン有名人が新しい期間限定景品を謳う「チープフェイク」詐欺を回避できるよう支援します。また、消費者が大統領候補に関するビデオを視聴する際、それが本物なのか、それとも悪意のある目的で AI が生成したものなのかを瞬時に把握できるようにします。これは、AI 時代の保護をまったく新しいレベルに引き上げるものです。私たちは、ユーザに新しい AI.手動の世界のニュアンスをナビゲートする明確さと自信を与え、オンラインのプライバシーとアイデンティティ、幸福を保護できるようにすることを目指しています。（Grobman 氏）

サイバー犯罪のエコシステムに関して、McAfee の脅威調査チームが発見したのは、広告ネットワークに登録された正規アカウントの使用であり、その例として Meta のようなプラットフォームがあると Grobman 氏は述べた。

McAfee は、このようなディープフェイクが Facebook、Instagram、Threads、Messenger などのソーシャルメディア広告プラットフォームに投稿されていることを発見した。あるケースでは、アカウントが乗っ取られた合法的な教会があり、悪質業者がディープフェイク詐欺のコンテンツをソーシャルメディアに投稿していた。

ターゲットは消費者であることが多いです。悪質業者が消費者に近づく方法は、他の組織のソフト・ターゲット・インフラを利用することです。ディープフェイクに騙された人々が主催しているものの中にも見られることがあります。

暗号詐欺ビデオに関わるケースでは、悪質業者はユーザにアプリをダウンロードさせたり、web サイトに登録させたりすることを望んでいる。

これらのピースを組み合わせることで、パーフェクトストームが生まれるのです。

サイバー犯罪者は、教会のソーシャルメディアアカウントや企業のソーシャルメディアアカウントの広告アカウントを使っているという。そうやってニュースを広めているのだ。

Grobman 氏が「チープフェイク」と呼ぶ例は、ニュース放送の合法的なビデオである。音声の一部は本物だ。しかし音声の一部は、暗号詐欺の環境を構築するために、ディープフェイクの音声に置き換えられている。信頼できるソース（この場合は CNBC）からのビデオが、新しい投資プラットフォームについて話し始め、その後、ユーザを偽の暗号取引所に行かせる詐欺を仕掛けるために乗っ取られている。

McAfee の技術は音声を聞きながら、ディープフェイクの音声がどこから始まるかを判断し、偽の音声にフラグを立てることができる。

最初は正当な音声とビデオで、その後グラフが偽の部分を示すのです。（Grobman 氏）

Grobman 氏は、ディープフェイクにさらされることをすでに懸念しているユーザを保護するために、ディープフェイク検出技術は製品に統合されるだろうと述べた。そしてこの場合、おそらく安全なソーシャル・プラットフォームにいるユーザにディープフェイクの音声が届かないようにするのはかなり難しいとGrobman 氏は指摘する。

この技術の応用範囲は広く、ディープフェイクによるネットいじめ、誤報、詐欺が横行する状況をナビゲートする手段を消費者に提供する。McAfee は、ユーザに本物と操作されたコンテンツを見分ける明確さと自信を提供することで、オンライン上のプライバシー、アイデンティティ、全体的な幸福を強化することを目指している。

McAfee は CES 2024で、Project Mockingbird の初の公開デモンストレーションを披露し、参加者に画期的なテクノロジーを直接体験してもらった。このお披露目は、消費者のデジタルライフを包括的に保護するために、さまざまなユースケースやプラットフォームに対応する多様な AI モデルのポートフォリオを開発するという McAfee のコミットメントの証でもある。

McAfee は Project Mockingbird の背後にある象徴的な意味を説明し、モッキンバード（物まね鳥：他人の歌を真似ることで知られる鳥）の行動との類似性を示した。この鳥がまだ完全には解明されていない理由で擬態するのと同様に、サイバー犯罪者は AI を活用して声を模倣し、詐欺目的で消費者を欺く。

ディープフェイクに関する意識調査

ディープフェイク技術をめぐる懸念は明白で、McAfee が2023年12月に実施した調査では、アメリカ人の間で不安が高まっていることが明らかになった。68%近くが、前年と比較してディープフェイクに対する懸念が高まっていることを表明し、33%がディープフェイク詐欺に遭遇した、またはディープフェイク詐欺について知っていると報告している。

ディープフェイクがどのように利用されるかについての懸念の上位には、選挙への影響（52％）が含まれ、ネットいじめ（44％）、メディアへの信頼を損なうこと（48％）、公人になりすますこと（49％）、偽のポルノ・コンテンツの作成（37％）、歴史的事実の歪曲（43％）、サイバー犯罪者が支払いや個人情報を入手する詐欺の餌食になること（16％）などが挙げられた。

今度の選挙サイクルでは、人々がディープなフェイクコンテンツにさらされるのではないかという懸念があります。そして、しばしば誤って表現されることのひとつが、人工知能とは何なのかということだと思います。AIとは、従来人間がやっていたことをコンピュータにやらせることだと思われがちです。しかし、多くの点で、2024年の AI は、人間ができることよりも優れたことを行うことになるでしょう。

問題は、本物の Joe Biden（ジョー・バイデン）氏かディープフェイクの Biden 氏か、あるいは Donald Trump（ドナルド・トランプ）氏についても同じだが、その違いをどうやって見分けることができるようになるかだ、と彼は言う。

私たちは、人間には知覚できないような微細な特徴を識別できる高度な AI を構築します。政治的な季節に、キャンペーン広告を作るためにジェネレーティブ AI を使用することは、必ずしも違法ではありませんし、不道徳でもありません。しかし、消費者が望む情報のひとつは、それが実際の音声や映像に基づいているのとは対照的に、ジェネレーティブ AI で作られたものであることを理解することだと考えています。

MSNBC のニュースの例では、NBC ニュースの討論司会者が共和党の大統領候補について話している。最初は正当な映像と音声だ。しかしその後、彼の声がすべての候補者を中傷し、Trump 氏を賞賛するフェイクバージョンに変化する。今回のディープフェイク素材は、無粋で滑稽なものを作るために使われた。

候補者たちの逆説的な見方を説明し始めると、（司会者の）本物の声から偽物の声に切り替わります。私たちのモデルでこの音声の全体的な評価をすると、音声トラックに偽の部分があるとモデルが高い確信を持っている部分が明らかにあることがわかります。これはかなり穏やかな例です。（Grobman 氏）

しかし、ディープフェイクとして、候補者が候補者の評判を傷つけるような発言をするように細工することは簡単だ。そして、視聴者を間違った結論に導く可能性がある。

検出の仕組み

Grobman 氏によると、McAfee は動画から生データを取得し、それを分類モデルに投入する。McAfee は10年前からこの種の AI を使用しており、マルウェアを検出したり、web サイトのコンテンツを特定したりしている。ファイルをモデルに入れる代わりに、McAfee は音声やビデオをモデルに入れ、危険な特徴があるかどうかをスクリーニングする。そして、McAfee がフェイクか本物かの識別について教えたことに基づいて、AI が作成したものかどうかを予測する。

Grobman 氏によると、同社は AI を携帯電話のスキャンに導入し、テキストメッセージが正規の送信元からのものかどうかを見分けているという。また、同社は長年にわたり、モバイルと PC プラットフォームにおける web 保護にも注力してきた。今、人々は音声や画像のディープフェイクをいかに簡単に作れるかを教育する必要がある。

何かおかしいと思ったら、少なくとも AI が作り出したもの、あるいは本物ではない可能性があるという健全な懐疑心を消費者に持ってもらう必要があります。そして、McAfee のような信頼できるパートナーから、それほど明白ではないかもしれないものを特定し、キャッチする手助けをするテクノロジーを得ることで、人々は安全にデジタルライフを送ることができるようになるのです。

Project Mockingbird は実験の域を超え、McAfee は製品ライン全体で使用されるコア技術のビルディングブロックを構築している。

【via VentureBeat】 @VentureBeat

【原文】