諸刃の剣となる最先端テクノロジ: AI 脅威の分類法

「AI の脅威」に関する議論は通常、2 つの極端な意見のどちらかに陥りがちです。一つは「ハイプ (過度な期待)」、つまり厳密に検証すればボロが出るような、そして大きな批判を招くような根拠のない主張です。もう一つは、「軽視」、つまり「新しいブランド名を冠しただけの古い攻撃手法にすぎない」という見方です。

このような二分法の多くがそうであるように、真実はおそらくその中間にあります。脅威アクターは、攻撃を容易にするため、あるいは攻撃の標的として、さまざまな方法で AI を利用し、実験を行っています。実際にどの程度の規模で行われているのかを把握することは、さまざまな理由から困難です。しかし、サイバー犯罪フォーラムにおける AI への意識を調査した記事でも指摘したように、一部のツールでは AI の採用が進んでいます。ENISA の「2025 Threat Landscape」レポートなどの他の調査でも、サイバー犯罪のエコシステム全体 (AI 生成のフィッシング、音声クローン、ディープフェイク、スクリプティング、AI を利用した偵察など) において、現実世界での AI 利用が徐々に広がっていることが説明されています。その一方で、ソフォスの調査と同様に、AI 生成のマルウェアといった他の悪意のあるアプリケーションは、現時点では現実の脅威というよりも、制御されたデモンストレーション環境にとどまっているとも指摘されています。

AI の脅威を追跡・分類しやすくするため、Sophos X-Ops は実用的な分類法を策定しました。この分類法では、問題をAI の悪用と AI への悪意のある攻撃という 2 つの最上位カテゴリに分類しています。各カテゴリには、実環境で確認されたインシデント、ソフォスが現在進めている AI 攻撃に関する調査、または将来現実になる可能性があると評価される攻撃に基づいた、複数のサブカテゴリがあります。

この分類法は、MITRE ATLAS (敵対的 AI に関する業界フレームワーク)、Microsoft による AI エージェントの障害モードの分類法、MIT の AI リスクリポジトリ、または NIST AI 100-2 など、この分野における他の取り組みと競合することを意図したものではありません。むしろ、それらを包括するトリアージ層として機能するように設計されています。ソフォスの取り組みが、特に ATLAS をどのように補完するかについては、この後すぐに説明します。この分類法は「完成品」と見なされるべきではありません。なぜなら、AI と同様に、これは現在進行形の作業であり、非常に変化の激しい分野であるからです。しかし、ソフォスはこれが他の分類の取り組みに大きく貢献できると確信しており、新たな脅威やカテゴリの出現に合わせて、この分類法を最新かつ適切な状態に維持することに尽力してまいります。

図 1: AI 脅威分類法の概要

第 1 部: AI の悪用 (Malicious use of AI)

おそらく、「AIの脅威」と聞いて多くの人が思い浮かべるのは、攻撃者が一般的な AI ツールを悪用することを指すこのカテゴリでしょう。しかし、実際の脅威はもっと複雑です。AI が関与する度合いはさまざまであり、それに応じて適切な防御策も異なります。

ここにあるサブカテゴリを整理する上で有効なアプローチは、サブカテゴリを「自律性のグラデーション」として捉えることです。AI 生成型 (AI-generated) では、人間が「運転」を担当し、AI は助手席にあるツールとして機能します。AI 強化型 (AI-augmented) とは、人間と AI が責任を共有している状態を意味します。AI オーケストレーション型 (AI-orchestrated) 攻撃では、AI が運転し、人間は目的地を設定する乗客となります。

ここで注目すべきは、このトピックに関する調査でソフォスがこれまでも指摘してきたように、これらすべてのサブカテゴリ (特に AI オーケストレーション型攻撃) が、攻撃能力の最低ラインを引き下げている点です。攻撃の意図と機会を持ちながらも手段が限られていた脅威アクターが、今や高度なリソースやスキルをいつでも利用できるようになり、その結果、スキルが低くても攻撃を実行できる脅威アクターの数が増大しています。

AI 生成型 (AI-generated)

AI の関与が最も低い手法。生成 AI がアーティファクト (コード、偽の Web サイト、フィッシング用のルアー (おとり) など) を作成し、人間がそれを引き継ぎます。

• AI 生成コード：脅威アクターが Cursor などのコーディングアシスタントを使用してスクリプト、エクスプロイト、ペイロード、ツールを作成し、それを人間のオペレーターが展開します。例えば、2025 年 12 月から 2026 年 2 月にかけて、ある脅威アクターが Anthropic の Claude Code と OpenAI の GPT を使用してスクリプトやツールを生成し、メキシコの複数の政府機関を標的にしました。また最近では、ランサムウェアグループ「The Gentlemen」と関連付けられる TTP (戦術、手法、手順) から、開発に ChatGPT、Gemini、Claude が使用されていることが示唆されており、同グループから流出したチャットもこれを裏付けています。
• AI 生成サイト：ソフォスは、この件に関する調査結果を 2023 年に発表しました。生成 AI の力を借りて作成された詐欺サイトや悪意のあるポータルサイトは、人的労力をほとんど (あるいは全く) 必要とせずに、大量かつ洗練された外観を実現しています。
• AI 生成ルアー：AI モデルによって作成され、人間によって送信されるソーシャルエンジニアリング用のスクリプト、口実、およびルアー。

緩和策

最終的に送り込まれるアーティファクトそのものが問題であるため、従来の検知・保護対策が引き続き有効です。その一方で、攻撃のスループット、規模、および実行能力は大幅に向上する可能性があります。防御側は、攻撃キャンペーンと亜種の増加、およびより反復と適応の高速化を想定しておく必要があります。

AI 強化型 (AI-augmented)

AI モデルは既存の能力を強化しますが、強化が行われるタイミングは実行時です。

• AI 強化型の攻撃支援：脅威アクターが、攻撃を支援する目的で AI を使用する手法です。例えば、LLM を使用して偵察や OSINT の規模や深度を向上させたり、脆弱性の発見やエクスプロイト開発を自動化したりします。
• AI 強化型のサービス悪用: バイナリに静的に攻撃コマンドを埋め込むのではなく、実行時に商用 LLM の API を呼び出して攻撃コマンドを動的に生成するマルウェアです。2025 年に注目を集めた例として、CERT-UA が (中程度の確信度で) APT28 による攻撃と判断した「LameHug」が挙げられます。これは Python ベースのマルウェアで、Hugging Face にホストされている Qwen2.5-Coder-32B-Instruct にクエリを送信し、ウクライナ政府機関を標的として Windows の偵察およびデータ窃取コマンドをその場で生成するものでした。このマルウェアが生成するコマンドは環境ごとに異なっていたため、静的分析の有用性が大幅に低下してしまい、代わりに AI/ML API へのアウトバウンドトラフィックが数少ない信頼できる検知指標の一つとなりました。
• AI 強化型のモデルの悪用：マルウェアにモデルを組み込む手法です。例えば、感染したホスト上で、おとりの文書や文脈に応じた返信などのコンテンツを生成したり、その他の悪意ある行為を実行したりします。なお、本稿執筆時点において、私たちの知る限りこれは理論上の攻撃であり、実現性はモデルのサイズに依存します。例えば、Mozilla の llamafile を使用すれば、単一の実行ファイル内で LLM を配布および実行することができます。重みが含まれた構築済みのバージョンは、Windows のファイルサイズ実行制限である 4GB をわずかに下回るサイズ (とはいえ、比較的大きなファイル) となっています。もちろん、より小さなモデルも利用可能ですが、機能が制限される可能性があります。
• AI 強化型のなりすまし：リアルタイムの詐欺、経営幹部へのなりすまし、および KYC (本人確認) の迂回で使用される音声クローンやフェイススワップ (顔交換) ツールです (図 2 を参照)。

図 2: 犯罪フォーラムで脅威アクターが、KYC テクノロジを迂回するためにディープフェイクを使用する設定について説明している様子

緩和策

このカテゴリの攻撃は、悪意のある動作が動的であり、防御側が見ることのできないモデルによって実行時に部分的に決定されるため、静的分析では検知が困難です。LLM 関連の API エンドポイントへの呼び出し、組み込みモデルの特性、コマンド実行の順序と構成、音声クローンやフェイススワップに関連する特定の生物学的特徴などが、検知の糸口になる可能性があります。

AI オーケストレーション (AI-orchestrated)

このカテゴリでは、人間の関与は最小限に抑えつつ、一定の開始指示や監視のもとで AI がアクションを実行します。

• AI オーケストレーション型の侵入：エージェントが、例えば Model Context Protocol (MCP) を使用して、ネットワークへのアクセスを確立、または権限昇格を行います。人間のオペレーターが目標を設定し、エージェントがそのステップを実行します。前述した複数のメキシコ政府機関に対するキャンペーンの一部が、このサブカテゴリに該当します。最も詳細に記録されている事例は、Anthropic が 2025 年 11 月に開示した中国の国家支援型キャンペーン「GTG-1002」です。約 30 の政府機関と重要インフラが標的となり、Kali Linux 上で動作する Claude Code が、MCP サーバーとして公開されたオープンソースのペネトレーションテストツールと統合されていました。この AI は、インターネットに公開されているサービスをスキャンし、公開 Web サーバーの SSRF 脆弱性を悪用し、SSH キーやクラウドのサービスアカウントトークンを収集し、被害者のクラウド環境内で横展開を行いました。その際、人間が戦略的な方向性を提示する一方で、AI は次に何を調査すべきかについてリアルタイムに戦術的な判断を下していました。Anthropic が 2026 年 6 月に行った追跡分析において、GTG-1002 を際立たせていたのは手法の数 (MITRE ATT&CK 手法約 30 種) ではなく、モデルをラップするオーケストレーション層の存在でした。実際には、オーケストレーションはキルチェーン全体をカバーすることもあれば、一部のみをカバーすることもあります。オペレーターが手動で初期アクセスを確立してから侵入後の活動のためにエージェントに引き継ぐこともあれば、エージェントを立ち上げて最初から最後までオペレーションを行うこともあります。どちらの場合も、防御への影響は同様です。
• AI オーケストレーション型の LLM 悪用：脅威アクターが LLM を組み込んだワークフローを汚染または乗っ取り、悪意のあるコンテンツをダウンストリームのユーザーに配信する手法です。

緩和策

こうした攻撃は実環境ではまだ稀ですが、重大なリスクをもたらします。偵察から行動までの時間が大幅に短縮されます。また、AI モデルは疲れることもなければ、休息も必要ありません。

第 2 部: AI への悪意のある攻撃 (Malicious targeting of AI)

このカテゴリに属する攻撃は、AI 製品やエージェント、およびエコシステムが被害者 (または知らない間に共犯者) になるものであり、AI システムの構築や導入の仕組み自体をつくことで成立します。

エージェント起点型 (Agent-initiated)

• エージェント起点型の侵害：コーディングエージェント (Claude Code、Cursor、Copilot スタイルのツールなど) が、業務を遂行する過程で、侵害された NPM パッケージや依存関係をダウンロードしてしまいます。あるいは、エージェントが使用する MCP サーバーが侵害され、未承認アドレスにメールを BCC 送信するなどの不正な活動を実行します。エージェント自体は悪意のあるものではなく、汚染されたサプライチェーンに誘導された結果です。

緩和策

ここで注目すべきはサプライチェーン攻撃そのものではありません。それらはよく知られた脅威です。脅威となるのは、エージェントが「パッケージが公開されてから、環境内で実行されるまで」の時間を短縮してしまう点にあります。そこには、人間が立ち止まって変更履歴を確認したり、サプライチェーン攻撃に関連するリスクをチェックしたりする余裕がありません。一般的な緩和策としては、レート制限、ロケーション管理、およびスコープ/権限の管理が挙げられます。

AI ソフトウェアへのなりすまし (AI software impersonation)

• AI ソフトウェアへのなりすまし：悪意のある広告、スポンサー検索結果、SEO ポイズニング、または巧妙に作られた共有 LLM 会話などを悪用し、正規の AI ツールを検索しているユーザーをかつてないスピードで罠にかける手法です。結果としてインストールされるマルウェアには、情報窃取型マルウェアやバックドアなどが含まれます。

緩和策

これはよく知られた攻撃であり、ソフォスは以前から報告してきましたが、AI ツールへの需要に便乗するためにルアーが刷新されています。この形態の攻撃に対する保護には、主な 2 つの柱があります。一つは最終的なマルウェア (および中間ペイロード) の検知ですが、最も効果的かつ最初期の防御策は、確認された正規ベンダーサイトからのみアプリケーションやインストーラーをダウンロードすることです。

汚染された LLM (Poisoned LLMs)

• LLM ポイズニング：脅威アクターがカスタムモデルを構成するか、モデルのトレーニング、ファインチューニング、または検索パイプラインに悪意のあるデータや誤解を招くデータを意図的に注入し、モデルの挙動を変更する手法です。この攻撃の実環境での発生事例はまだ確認されていませんが、研究者によって論理的実証がなされているほか、過去には攻撃者が「pickle」ファイルを介して「従来型」バックドアを仕込むために ML モデルを武器化した前例があります。

緩和策

AI モデルが提示するリンクには警戒が必要です。それらのリンクが正規のドメインを指しているか確認し、コンテンツをターミナルやコマンドウィンドウにコピー＆ペーストするような指示 (特にコンテンツが難読化されている場合) には疑いを持ってください。

モデルへの攻撃 (Attacks on the model)

前述の攻撃が AI エコシステム (インストーラー、プロンプトなど) を標的にしているのに対し、このクラスの攻撃は AI モデルそのもの (重み、トレーニングデータ、決定境界) に焦点を当てています。

• モデル抽出：脅威アクターが展開されたモデルに対して繰り返しクエリを実行し、蒸留を介して近似的なコピーを再構築できるようにします。これにより、資産が盗まれ、学習コストに基づいて構築された「堀」 (競争優位性) が損なわれます。
• 学習データの反転：細工されたクエリを用いて、展開されたモデルから学習データを抽出する手法です。学習コーパスに個人データ、独自のコード、著作権保護されたテキストなど、機密データが含まれている場合に特に問題になります。
• 敵対的サンプル：人間にとっては一見無害に見えるものの、モデルを騙して誤った分類をさせるように設計された入力データです。数年前まで遡ると、道路標識への微細な改ざんなどが含まれていましたが、これらの攻撃はテキスト、音声、およびマルチモーダルモデルにも一般化される可能性があります。
• メンバーシップ推論：モデルが過去に見たことのあるデータに対してより高い確信度を持つ傾向を悪用し、特定のレコードが学習セットに含まれていたかどうかを判断する手法です。これはプライバシーに対する攻撃であり、学習に顧客データを用いるすべての組織にとっての懸念事項です。

緩和策

これらは MITRE ATLAS が最も詳細にカバーしている手法であり、標準的なテレメトリには現れにくい手法です。蓄積されたクエリパターンが時間をかけて測定されない限り、多くの場合、通常の活動のように見えます。

この分類法の活用方法

前述したように、この分野では他にも複数の取り組みが進められており、中でも MITRE ATLAS は AI 脅威インテリジェンスにおける最も著名な共通語彙となっています。v5.10 (2025 年 11 月公開) の時点で、ATT&CK キルチェーンをモデルにした 16 の戦術と 84 の手法がカタログ化されており、2026 年を通じて行われた継続的なアップデートにより、エージェント型 AI への対応範囲も拡大しています。

しかし、ATLAS が焦点を当てているのは AI への悪意のある攻撃です。これは、本分類法の第 2 部に相当し、本分類法のサブカテゴリは ATLAS における「AI サプライチェーンの侵害 (AI Supply Chain Compromise)」、「LLM プロンプトインジェクション (LLM Prompt Injection)」、「AI モデルの操作 (Manipulate AI Model)」といった手法にマッピングされます。一方で、第 1 部で扱った「AI を悪用した攻撃」は、ATLAS フレームワークの中心というよりも、その周縁に位置付けられています。

このギャップは ATLAS に限ったことではありません。Anthropic も、2026 年 6 月の「LLM ATT&CK Navigator」レポートにおいて、より広範な ATT&CK レベルで同様の結論に達しています。すなわち、最も能力の高い攻撃者を特徴付ける自律的かつ主体的な振る舞い (キルチェーンのオーケストレーション、リアルタイムの横展開の判断、AI 主導の実行など) には、フレームワーク内に手法 ID がまだ存在しないということです。語彙に関する課題を抱えているのはソフォスだけではなく、関連するフレームワークも今後進化していくと考えられます。

本分類法において、これら 2 つのカテゴリを区別することは重要です。なぜなら、それぞれに求められる防御態勢が異なるからです。AI の悪用は生産性と量の問題です。既存の検知スタックでも多くの脅威を捕捉できる可能性はありますが、問題となるのはその規模であり、攻撃キャンペーンが反復・適応していくスピードにあります。これとは対照的に、AI への悪意のある攻撃は信頼とサプライチェーンの懸念に近く、通常はポリシー、セキュアバイデザインのフレームワーク、および同様のイニシアティブによって対処するのが適切です。

さらに、これらを切り離して扱うことで、脅威のより明確かつ正確な実態が浮き彫りになります。「AI 関連のインシデントが 300% 増加した」という統計は、GPT が作成したフィッシングメールと、本番環境にバックドア付きの依存関係を意図せず導入してしまったコーディングエージェントを混同している場合、何の意味も持ちません。

最終的にソフォスが提案するのは、本分類法を他の分類法に取って代わるものとしてではなく、それらを補完するものとして扱うことです。本分類法は、防御側が進行中のインシデントに対して迅速かつ明確なラベル付けを必要とする初動段階で活用できます。その後、キルチェーンの分解、緩和策のマッピング、パートナーや顧客との外部共有といった、ATLAS を用いたより詳細な分析を行うことができます。あるいは、インシデントの詳細に応じて、Microsoft の AI エージェント分類法、MIT のリスクリポジトリ、または敵対的機械学習に関する NIST の分類法からの情報を活用することも可能です。

前述の通り、本分類法が完全なものであると見なすべきではありません。いかなる試みにもギャップは存在し、中でも AI は変化の激しい領域です。今後、新たなパターンや攻撃クラス (例:自律型の偵察、エージェント間攻撃、大規模なモデル抽出など) が表面化し、既存の内容の統合や再定義が必要になる可能性があります。

しかし本当に重要なのは、分類法という規律に忠実であることです。インシデントが発生した際には、そのインシデントに具体的なラベル付けをし、「誰が、何を、誰に対して使用しているのか」を区別し、データそのものに語らせる必要があります。