標的が実在するかどうかを AI が認識できないとき

筆者は 1 週間前、OpenAI のテスト用エージェントがサンドボックスを抜け出し、Hugging Face の本番インフラストラクチャにアクセスした件について記事を書きました。その際、これは攻撃者による事件というよりは封じ込めの事例であり、過去 30 年間にわたって我々が頼りにしてきたサイバーセキュリティの基本原則が、依然として結果を左右すると指摘しました。Anthropic は昨日、自社で発生した同様の問題を公開しましたが、そこから得られる教訓に変わりはません。

OpenAI の公表を受けて、Anthropic は AI モデルがインターネットに到達できた可能性がある 141,006 回の評価実行を遡って調査しました。その結果、Claude がテスト環境に設定された境界を越え、3 つの異なる組織の本番システムを侵害した 3 件のインシデントが明らかになりました。最初の侵害が発生したのは 2026 年 4 月でした。Anthropic は自社のトランスクリプトを確認することでこの活動を発見し、被害者に連絡を取りました。

Hugging Face への侵入事件との主な違いは、Anthropic が自主監査によってこの活動を発見し、情報を開示した点にあります。これは責任ある行動であり人々の信頼を勝ち得るものですが、対応のタイムラインには改善の余地が残されています。

同様の封じ込め事例では、より多くの証拠が示されている

ゼロデイ脆弱性を悪用してサンドボックスを抜け出した OpenAI のエージェントとは異なり、Anthropic のインシデントはコミュニケーション上の行き違いと設定ミスが原因でした。Claude には「キャプチャー・ザ・フラッグ」(CTF) という課題が与えられていました。これは架空のシナリオで、別のマシンから秘密情報を取得することが目的であり、特定の手法は指定されていませんでした。プロンプトではモデルにインターネットへのアクセス権限がないと指示されていましたが、設定ミスが原因で実際にはアクセスが可能となっていました。フラグを探す過程でインターネットに接続できてしまった際に、モデルはそこで発見した実システムを課題の一部とみなして攻撃を仕掛けました。

攻撃では、脆弱なパスワード、認証されていないエンドポイント、公開されたデバッグページ、使い回されている認証情報といった、よく見られる脆弱性が悪用されました。あるインシデントでは、モデルがアプリケーションおよびインフラストラクチャの認証情報を抽出し、数百行に及ぶ本番データが格納されたデータベースにアクセスしていました。これには、新規の脆弱性やゼロデイ脆弱性は一切関与していません。前回の記事の繰り返しになりますが、接続の相手側にいるのが AI エージェントであろうと人間であろうと、戦術、手法、手順 (TTP) は変わりません。一方を阻止するコントロールは、もう一方も阻止します。

Anthropic社も同様の結論に達しており、「強力な自律機能を備えた評価環境においても、十分なコントロールが必要で・・・[そして、モデルが] 動作する他のシステムと同等のセキュリティ基準を満たすことがますます求められている」と述べています。架空のシナリオで構成されている演習の場は、現実の要素が何もないためリスクが低いように見えるかもしれませんが、その場から逸脱したモデルは、その違いを見分けることはできません。

新たな展開

Anthropic が記録した 3 件のインシデントのうち 1 件には、モデルが独自に考案したサプライチェーン攻撃が含まれていました。

テスト環境内で Claude は、公開されている PyPI レジストリには存在しない Python パッケージをインストールするよう開発者に指示する文書を発見しました。Claude は、テスト環境内で自動的にダウンロードされ実行される悪意のあるバージョンのパッケージを作成することを「決定」しました。メールアドレスを作成してアカウントを登録するために綿密な手順を踏み、その後、マルウェアを実際の公開レジストリにアップロードしました。このパッケージは約 1 時間公開され、15 台の正規システムにダウンロードされました。

その 1 つは、PyPI パッケージを定期的にインストールして分析しているセキュリティ企業のスキャナーでした。悪意のあるパッケージがインストールされると Claude のコードが実行され、認証情報を盗み出し、それを利用して同社のネットワーク内を移動しました。詳細は不明ですが、特権インフラストラクチャへのアクセスは広範囲にわたる侵害につながる可能性があります。Hugging Face と同様に、この企業も直接的な標的ではありませんでしたが、熱心すぎる AI の被害者となりました。

許可された標的と許可されていない標的を区別できないというこの問題こそが、筆者が Hugging Face に関する記事で指摘した点です。モデルに標的を攻撃する権限を与えたとしても、その範囲を制限することはできません。Anthropic は評価を許可しただけで、公開レジストリ上に実際に動作するパッケージが掲載され、15 台のシステムに影響を及ぼしてしまいました。攻撃的なテストのためにエージェントを自社システムに向けさせた場合、そのエージェントはサプライヤーや自社の許可なしにサプライヤーを標的にしてしまう可能性があります。封じ込めの有効性が証明されるまでは、「自律型エージェントはインターネット全体にアクセスできる」と想定してください。

セキュリティ特性としての状況認識力

これら 3 件のインシデントには 3 つの異なるモデルが関与しており、現実世界のシグナルが現れた後の動作もそれぞれ異なっていました。最も古いモデルである Opus 4.7 は、本番システムに到達したことを認識した後も攻撃を続けました。Mythos 5 は、自身がオープンインターネット上にいると推論したものの、その後、自らを説得して「これはシミュレーションだ」と信じました。最新の内部モデルは、標的が実在すると結論付けた後、自発的に攻撃を停止しました。

ガードレール、アライメント、および封じ込めは、もはや誰かの研究課題ではなく、運用におけるセキュリティ上の懸念事項となっています。決定論的なコントロールをできるだけ導入するよう常に努めるべきですが、モデルのガードレールやシステムプロンプトが持つセキュリティ上の価値を軽視すべきではありません。これらは多層防御を実現する可能性があります。このシナリオにおいて、より高度なモデルが「改善された」動作を示したことは心強い点です。

ここから得るべき教訓

Anthropic が開示した内容によって、防衛側のプレイブックが変わることはありません。攻撃対象領域を縮小し、監視を徹底してください。公開された脆弱性だけでなく、攻撃手法そのものをブロックしてください。盗まれた正規の認証情報は、人間にとってもマシンにとっても便利な近道となるため、アイデンティティを主要なコントロールとして位置付けてください。設計段階から封じ込め対策を講じ、エージェントが到達できる範囲は、サプライヤーを含め、手が届くすべてのものに及ぶと想定してください。AI による攻撃の加速に関してソフォスが調査したところ、攻撃ツールは (数週間ではなく) 数日で到達することが示されているため、マシンの速度で実行できる対応策を事前に訓練しておく必要があります。

マシンによる攻撃への防衛に関するソフォスの見解については、「Sophos AI Security 2026」レポートをご覧ください。