中国では、これまでで最大のディープフェイク詐欺が発生し、顔のすり替えや声の模倣などの AI ツールを使った詐欺事件の増加が警告されている。広く話題になったこの事件では、福州のテック企業の法務担当者が、友人からビデオ通話を受けたところ、その友人が AI のフェイススワッピング（顔すり替え）技術を使った詐欺師であることが判明し、430万人民元（約8,600万円）をだまし取られたとされている。この事件は、警察が詳細を確認した後、ソーシャルメディア上で話題となり、AI を使えば高学歴の大人を数分で騙すことができることが浮き彫りになった。

重要視すべき理由：中国では、AI 規制はまだ発展途上のテーマだ。4月中旬、中国のインターネット規制当局は、ジェネレーティブ AI の使用に関する規制案を発表し、その対策案について一般からの意見を求めた。中国における ChatGPT や類似 AI 製品の可能性をめぐる当初の興奮は、AI が犯罪活動を加速させるためにどのように使われるのかという懸念へと変化している。

詳細：中国東部の福州市の警察の情報開示によると、4月20日、詐欺師が個人の WeChat（微信）アカウントを盗み、それを使って、個人の WeChat アプリの連絡先に入っていたビジネスマンにビデオ通話をした。AI を使って個人の顔をディープフェイクし、ビジネスマンに「銀行振込が必要だ」と伝えた。その後、ビジネスマンは、本人確認をしないまま、偽の友人の銀行口座に430万人民元（約8,600万円）を振り込んだ。

• 詐欺被害者の通報により、福州警察と包頭警察は、盗まれた資金の一部を阻止することに成功したが、複数のメディアは、約100万人民元（約2,000万円）がまだ回収されておらず、このような詐欺事件はこれまでで最大と思われる、と報じている。警察の捜査は継続中だ。
• 詐欺師は、音声視覚情報を盗むことができるツールを利用し、説得力のある AI の音声や画像素材を生成していたと警察は述べている。
• この詐欺事件は、中国のソーシャルメディア上で広く議論を呼び起こした。23日、合計1億8000万ビューを記録したトレンドハッシュタグ「#AI犯罪が国を圧倒する#（#AI騙局瘋狂席巻全国#）」は、この事件が模倣犯罪を誘発する恐れがあるとして、ソーシャルメディアプラットフォーム「Weibo（微博）」から削除されたようだ。
• 中国共産主義青年団が支援するメディア「China Youth Net（中国青年網）」は、その後、AI 詐欺の危険性について国民に警告する記事を掲載した。
• また、現地メディア「China Economic Network（中国経済網）」によると、フェイススワップ技術は、オンラインのライブストリーマーが人気セレブのディープフェイクを作るために使用されており、詐欺や知的財産権に関する関連問題を提起している。

背景：ChatGPT のローンチをめぐる世界的な話題を受けて、中国では AI 関連製品のローンチが相次ぎ、中国のテック大手は同様の技術を提供できることを証明しようと躍起になっている。しかし、福州の詐欺事件は、他の有名なディープフェイク事件と相まって、このような AI の進歩がもたらす潜在的なマイナス面を人々に想起させている。

• 中国の著作権法の限界を試す事件として、有名なマンドポップ歌手 Stephanie Sun（孫燕姿）氏は、ここ数週間、自分の声の AI バージョンを使って、人気曲の新しいカバーを制作していることが報道されている。「AI Stephanie Sun（AI 孫燕姿）」は、中国の動画共有プラットフォーム「bilibili（嗶哩嗶哩）」に1,000本近い動画を投稿しており、民謡や童謡からアニメのテーマ曲まで、このシンガポール出身のスターの声が使われている。「Rainy Day（下雨天）」や「Hair Like Snow（発如雪）」のように、100万回以上のヒットを記録したカバーもある。
• 22日、Sun 氏は中国のソーシャルメディアで、ファンに自分自身に忠実であることを求め、「1分ごとにアルバムをリリースする人と議論すること」の無駄を認識するよう反論した。AI は「法律、医療、会計などの業界や、現在議論している歌の分野など、何千もの仕事に脅威を与えている」と、Sun 氏は付け加えた。

【via TechNode】 @technodechina

【原文】