生成 AI は現代のビジネスの新しい原動力だが、このテクノロジーにはビジネスとその評判をたちまち危険にさらす、まったく新しい攻撃ベクトルを開く可能性がある。カリフォルニア州に拠点を置くスタートアップの SydeLabs は、リアルタイムのインテント ベースのファイアウォールでこの課題を解決している。同社は3月28日、RTP Global、Picus Capital、その他のエンジェルから250万ドルのシード資金を調達した。

AI セキュリティ分野には他にも複数のプレーヤーがいるが、SydeLabs は、あまり知られていないものを含む大規模言語モデル（LLM）の脆弱性から開発者を守る包括的なソリューションスイートでの差別化を目指している。このスイートは、プロジェクトのライフサイクルのすべての段階（開発から導入まで）で開発者をサポートするものである。

同社はすでにいくつかの組織と協力しており、新たな資金を使って研究開発に注力し、企業の生成 AI システムを危険にさらそうとする悪意のある者に先んじるためにテクノロジー スタックをアップグレードする予定だ。

SydeLabs が提供するものとは？

SydeLabs は中核となる3つの主要な AI 関連製品を開発した。SydeBox、SydeGuard、SydeComply である。最初の製品は現在ベータ版で提供されており、チームが AI アプリやモデルにストレス テストを行い、脆弱性の有無を確認できるセルフサービスのレッドチーミングソリューションである。残りの2つは近日公開予定で、リアルタイムでインテント ベースの保護を提供し、世界の異なる地域でコンプライアンス問題につながる可能性のある AI システムのギャップを強調/修正することを目的としている。

「 SydeBox のベータ版では、トレーニング データの漏洩、システム プロンプトの漏洩、プロンプト インジェクション、安全性アラインメントのバイパスなど、さまざまな脆弱性を発見することができました。一方、リアルタイムのインテント ベースの保護システムである SydeGuard は、プロンプト インジェクション、ウォレット攻撃の拒否、データ漏洩の試み、システム プロンプト漏洩の試み、AI システムの誤用などを検出し、防止することができます」と、Ankita Kumari 氏は語った。同氏はPatwa 氏と共に SydeBox を共同設立した。

レッドチーミングソリューションは、テスト攻撃を作成する AI エージェント（社内研究と公開データに基づく）と、ターゲット システムの応答に基づいて攻撃の成功を検出する LLM を使用する。

一方、SydeGuard は、さまざまな戦術、技術、手順（TTP）にわたってエンド ユーザーの意図を特定する独自のモデルの組み合わせを使用する。モデルは、潜在的な脅威について1つ1つのプロンプトを調べ、プロンプト、ユーザーのセッション、ユーザー自体にリスク スコアを与える。

ただし、このプロファイルに基づいて、すぐにユーザーをブロックするわけではない。その代わりに、企業のセキュリティ チームにデータを共有し、プロンプト/ユーザーをブロックするか、監視して標準の応答を与えるか、ハニーポットにダミー データで攻撃者を欺くかのオプションを提供する。これにより、チームは潜在的な攻撃への対処方法を制御できる。

Kumari 氏はコンプライアンス中心のオファリングについてはあまり詳しく語らなかったが、開発中の検出機能を使用して、企業が内部または外部の規制に違反している可能性のあるギャップに警告を発するようだ。

1カ月以内に1万件の脆弱性が発見された

現時点では、SydeLabs は収益を上げる前の段階にあり、提供するサービスを構築し、収益を上げるために迅速に動いている。同社は2024年3月1日にレッド チーミング ソリューションの SydeBox を立ち上げ、それ以来、15以上の企業に導入され、50以上のアプリケーション/モデルで1万件以上の脆弱性が検出された。これらのアプリ/モデルは、本番環境ですでに稼働しているか、まだ開発中であるとKumari 氏は言う。

シードラウンドで、このスタートアップは研究開発に注力し、SydeGuard と SydeComply を顧客に提供できるようにすることを計画している。長期的には、アプリケーションの脆弱性を検出したい企業にレッドチーミングソリューションを無料で提供し、SydeGuard を消費ベースのモデルで収益化することを目指している。

「サイバー セキュリティ製品の成功の鍵は、その精度と悪意のある者に先んじる能力です。そのため、新しい攻撃ベクトルと新しい攻撃手法に対してモデルを常にアップグレードすることに重点を置いています」と共同創設者は付け加えた。

このスタートアップへの資金提供は、プロンプト インジェクション攻撃がハイプロファイルの有名人のディープフェイク生成につながるいくつかの事例により、AI アプリの安全性と信頼性が大きな精査を受けている時期に行われた。つい最近、Microsoft は幻覚の検出と攻撃の防止のための新しい一連の Azure AI ツールを発表した。また、セキュアな AI 開発のためにプライバシー保管庫を企業に提供しているスタートアップの Skyflow も、新たなラウンドで3,000万ドルを調達した。

レッド チーミングとリアルタイムの防止の分野では、SydeLabs は Lakera や Prompt Security などのプレーヤーと競合している。しかし、Kumari 氏は、SydeLabs にはこれらのプレーヤーよりも多くのものがあると強調した。さらに、初期のテストでは、同社の製品は精度とパフォーマンスの面でこれらのツールをはるかに上回っていると述べた。

【via VentureBeat】 @VentureBeat

【原文】