生成AI悪用のメール詐欺に、生成AI活用のセキュリティで対抗——Perception PointがAI検出モデルをローンチ

2023年6月、アメリカ・デンバーで開催された「Pax8 Beyond and Rocky Mountain Information Security Conference（RMISC）」に出展した Perception Point のブース

インターネットセキュリティプラットフォーム「Perception Point」は、AI が生成するメールの脅威の高まりに対抗するための最新のイノベーションを発表した。同社の新しい検知テクノロジーは、AI を搭載した大規模言語モデル（LLM）とディープラーニングアーキテクチャを採用し、ジェネレーティブ AI 技術によって促進されるビジネスメール詐欺（BEC）を特定し阻止する。

犯罪者は、あらゆる規模の組織に対して洗練された的確な標的型攻撃を実行するために、ジェネレーティブ AI 技術を悪用している。この技術は、特にソーシャルエンジニアリングや BEC 攻撃において、人間の出力に似た高品質でパーソナライズされたメールの作成を可能にするため、サイバー犯罪の新たな強力なツールとして浮上している。

Verizon の最近のデータ侵害調査報告書によると、ソーシャルエンジニアリング事件の50％以上が BEC に起因しているという。また、Perception Point の2023年年次報告書でも、BEC の試みが83%急増することが明らかにされている。

このエスカレートする脅威に対処するため、同社は、OpenAI の「ChatGPT」や Google の「Bard」のような有名な LLM と同様に、テキストの文脈を理解できる AI モデル「Transformer」を利用した LLM をベースとした革新的な検出モデルを開発した。そのため、このソリューションはLLMで生成されたテキストから明確なパターンを識別することができ、これは AI ベースの脅威を検知・阻止する上で極めて重要な要素となる。

レガシーなセキュリティソリューションを超える

Perception Point は、従来のセキュリティベンダーは、文脈分析や行動分析によって必要なレベルの検出精度を達成できないことが多いと主張している。

同社によれば、先進的なメールセキュリティシステムは文脈や行動による検知を採用しているものの、ジェネレーティブ AI によって新たに強化された攻撃を特定することにはまだ苦労しているという。これらの攻撃は、検知方法が本来認識するように設計された典型的なパターンを回避するからだ。

さらに同社は、現在市販されているソリューションは、配信後の検知のみに依存していると主張している。つまり、悪意のあるメールは削除されるまで、ユーザの受信トレイに長期間放置される可能性があるということだ。

Perception Point の CTO Tal Zamir 氏は、VentureBeat の取材に対し、次のように述べた。

シグネチャやレピュテーション分析に依存する従来のメールセキュリティソリューションでは、最も基本的なペイロードのない BEC 攻撃でさえ阻止するのに苦労している。我々の新しいモデルの主な強みは、LLM で生成されたテキスト内の識別可能なパターンの繰り返しを認識することにある。このモデルは、最も高い検出率で BEC を検出し、誤検出を最小限に抑える独自の3フェーズアーキテクチャを使用している。

Zamir 氏は、このソリューションの特長は、すべてのメールを包括的にスキャンし、ユーザの受信トレイに届く前に悪意があると判断されたメールを隔離する点にあると述べた。このプロアクティブなアプローチにより、システムに侵入した脅威の特定と対処に依存する検知ベースの手法に関連するリスクや潜在的な損害が排除されると説明した。

さらに、このソリューションには「Managed Incident Response Service」が組み込まれており、顧客の SOC（セキュリティオペレーションセンター）チームは、インシデントに迅速に対応し、新しい脅威や出現しつつある脅威に対抗するための新しいアルゴリズムをリアルタイムで展開する責任から解放される。

Perception Point のモデルは、受信メールの処理に平均0.06秒という卓越したスピードを発揮するとしている。このモデルは当初、同社が捕獲した数十万件の悪意のあるサンプルでトレーニングされ、その効果を最適化するために新しいデータで継続的に更新されている。

Incident Response Insights Dashboard
Image credit: Perception Point

ジェネレーティブ AI の活用でメールによる攻撃を最小化

Perception Point の Zamir 氏によると、新たな攻撃には、信頼できる組織になりすますため、偽のメールを悪用するサイバー犯罪者が含まれるという。攻撃者はソーシャルエンジニアリングのテクニックを使い、従業員を騙して大金を振り込ませたり、機密データを開示させたりする。

攻撃者は、現代の企業で、従業員が組織の中でセキュリティに関して最も弱いリンクであるという事実を悪用している。彼らは、通常 URL や悪意のあるファイルなど、悪意のあるペイロードを持たない BEC テキストベースの攻撃を活用している。（Zamir 氏）

Zamir 氏はさらに、ジェネレーティブ AI、特に LLM の出現が、なりすまし、フィッシング、BEC 攻撃を後押ししていると述べた。この進歩により、サイバー犯罪者はこれまで以上のスピードと規模で活動できるようになった。

ターゲットの調査、偵察、コピーライティング、デザインなど、かつては膨大な時間と労力を必要とした作業も、今では入念に作成されたプロンプトを使えば数分で完了することができる。これは、潜在的な被害者のプールを拡大し、攻撃が成功する可能性を大幅に増加させることにより、脅威を増幅させる。（Zamir 氏）

正規のメールにジェネレーティブ AI を多用することで生じる誤検知を減らすため、Perception Point はそのモデルに特徴的な3段階のアーキテクチャを採用している。

最初のスコアリングプロセスに続いて、このモデルはメールのコンテンツを分類するために Transformerr とクラスタリングアルゴリズムを採用している。これらの段階から得られたインサイトを、送信者の評価や認証プロトコル情報などの補足データと連携することで、このモデルはメールが AI によって作成されたものかどうかを予測し、潜在的な脅威が存在するかどうかを判断する。