.svg?width=93&quality=80&auto=webp&format=auto&cache=true&immutable=true&cache-control=max-age%3D31536000 "Home"){kind=logo}
.svg?width=7&quality=80&auto=webp&format=auto&cache=true&immutable=true&cache-control=max-age%3D31536000 "Top Navigation - Sign in - Icon")
今年は Black Hat USA への出展に加え、Sophos AI チームのデータサイエンティストが BSides Las Vegas カンファレンスにて最新の AI セキュリティ研究に関する 2 つの講演を行います。
3 つの頭を持つ犬
8 月 3 日月曜日、Adarsh Kyadige が、プロンプトセキュリティ向けの 3 ヘッド構成による BERT ベースモデル CerBERTus を発表します。
LLM のジェイルブレイク検知は、「プロンプトが有害か無害か」という二値分類の枠組みで捉えられることが少なくありません。しかし、この枠組みは脆く不安定です。有害なリクエストはロールプレイ、フィクション、緊急性、あるいは「学術的」という口実の中に隠されている可能性がある一方で、正規のプロンプトであっても、悪意がないにもかかわらず安全ではないコンテンツとトピック的に類似してしまうことがあります。その結果、単一ラベル検知器は表層的パターンに過学習してしまい、偽陰性 (敵対的書き換え) と偽陽性 (安全ではないコンテンツに類似した無害なプロンプト) の両方を発生させてしまいます。
CerBERTus は、ジェイルブレイク検知を単純な二値分類器として扱わないため、この問題に対処することができます。代わりに、「何を求めているか」(ゴール) と「どのように求めているか」(フレーム) を分離することによって、攻撃者の自由度をモデル化します。
この手法では、単一の共有エンコーダーが 3 つの分類ヘッドにデータを供給します。
- 有害性 (プライマリ)
- ゴールカテゴリ (ユーザーが何をしようとしているか)
- フレーミングスタイル (リクエストがどのように提示されているか)
この分離を学習させ、ストレステストを行うため、Kyadige のチームは、ゴールとフレームを体系的に組み合わせた構造化要因プロンプトコーパスを構築しました。
- ゴールには、サイバー攻撃、詐欺/ソーシャルエンジニアリング、爆発物、化学/生物兵器、従来型兵器、薬物合成、プライバシー/ドキシング (個人情報晒し)、人身売買、過激派プロパガンダ、人種差別/排外主義といったカテゴリにまたがる、有害なリクエスト、安全ではないコンテンツに類似した無害なリクエスト、および一般的な無害なリクエストが含まれます。
- フレームには、敵対的なジェイルブレイクスタイル (例: ロールプレイ/ペルソナ、脚本/フィクション、緊急性/危機、学術的口実、難読化、インジェクション風プレフィックス) のほか、無害なフレームや無効/プレーンなフレームが含まれます。
チームは講演で、このモデルが学習中に遭遇したことのない新しい攻撃ゴールと新しい提示スタイルの両方に対しても汎化することを実証します。脅威モデル、データセット構築、学習目的、評価戦略について取り上げ、マルチタスクの教師あり学習がどのタイミングで堅牢性と解釈可能性を向上させるかについて解説します。
異常値とロングテール
8 月 5 日水曜日には、Black Hat USA 2025 で発表された研究結果に続き、ソフォスのデータサイエンティストである Ben Gelman、Tamas Nyiri、Tibor Kristóf Lányi が、新たな異常検知研究の詳細を共有します。
サイバーセキュリティにおける教師あり分類器は、最も特異なサンプルを網羅していないデータを用いて学習されることがよくあります。無害な学習セットは、単純で一般的なパターンが大半を占める一方、悪意のある学習セットは、過去の調査で判明した既知の攻撃を反映しています。その双方において、特異なファイルのロングテール部分は、ラベル付けされないまま残されてしまいます。
こうしたファイルが本番環境に現れると、分類器は誤分類を起こしやすくなり、SOC を機能不全に陥らせる偽陽性や、脅威をすり抜けさせる偽陰性を発生させます。従来のアプローチは拡張性に欠けています。手動でのラベル付けはコストがかかり、ルールベースの収集では範囲が限定的すぎ、また異常検知単独では許容できないレベルの偽陽性率がこれまで生じてきました。
しかし、異常検知と LLM を組み合わせることで、サイバーセキュリティの学習セットに欠けている特異なデータを見つけ出してラベル付けするという点において、非常に優れた成果が得られます。
講演において、Gelman のチームは、異常検知と LLM を組み合わせて一連のサイバーセキュリティモデルの学習データを拡張する自動化されたパイプラインを発表します。同チームは、明らかに異常なデータを抽出するために、それぞれ異なる特徴表現で動作する相互補完的な異常検知手法を使用しました。その後、LLM がデータタイプごとに調整されたフォーマット固有のプロンプトを用いて、各異常値を分類します。
重要な点として、チームは悪意のあるデータと無害なデータにそれぞれに偏った別々のプロンプトを使用し、両方のラベルタイプで高い適合率を達成しました。この手法は、構造が異なる 3 つのデータタイプにわたって評価され、月間のデータ取り込み規模は桁違いでした。
Gelman らはカンファレンスにおいて、アーキテクチャについて解説し、実際の異常なファイルに対する LLM の推論プロセスを順を追って説明し、実環境における導入前後の結果を比較した上で、参加者が独自の検知システム向けに構築できるよう、必要なすべての情報を提供します。
今後の予定
カンファレンス終了後、両プロジェクトに関する詳細な記事を公開する予定です。