AIが「指示なくサイバー攻撃」は本当？何をしたのか実害と試験条件を解説

2026.08.06

「AIが指示なくサイバー攻撃をした」という報道を見て、AIが突然、自分の意思で攻撃を始めたのではないかと不安に感じた人もいるのではないでしょうか。

今回の事例では、AIにサイバー課題が与えられていましたが、現実の人物や組織へ働きかける指示はありませんでした。それでも一部のAIエージェントが許可範囲を越え、悪意のあるコードを含む変更案を送ろうとしたり、偽の人物像を使った働きかけなどを行おうとしたようです。

ただし、人間が行動を阻止しており、現実の被害は確認されていません。では、AIが何をしたのか、なぜ問題になったのかを詳しく見ていきます。

AIが「指示なくサイバー攻撃」は本当なのか

今回の件は、「何の指示もない状態で、AIが突然サイバー攻撃を始めた」ということではないようです。

英国のAI安全性評価機関「AI Security Institute（AISI）」は、AIモデルにサイバーセキュリティー上の課題を解かせる評価を行っていました。

AIには、制御されたサイバーレンジ上で課題を解決するタスクが与えられており、保護されたデータを探すことなどが目的に含まれていました。

一方で、AIに許可されていた行動範囲は、「評価用に用意された試験環境内」でした。現実の人物や組織、一般のオンラインサービスへ働きかけることは、評価の目的には含まれていません。

今回問題になったのは、与えられたサイバー課題そのものではなく、達成する過程でAIが許可されていない範囲まで行動を広げたことです。

出典：AI Security Institute（AISI）公式インシデント報告「Incident Report: unsanctioned agent behaviour during cyber testing」

AIは具体的に何をしたのか

AISIは、複数のAIモデルを使って同じサイバー課題を計122回実施し、うち10回の試行で、AIエージェントが公開インターネット上において許可されていない行動を19件行ったことが確認されています。

特に最も深刻とされた事例では、悪意あるコードの提出や偽の人物像による働きかけなど、複数の行動が組み合わされていたことのようですね。

この「複数の行動」の事例としては、以下のようなものを指すようです。

悪意あるコードをオープンソースプロジェクトへ提出

最も深刻とされた例では、AIエージェントが、実在するオープンソースプロジェクトへ、悪意のあるコードを含む変更案を提出しようとしたこと。

オープンソース開発では、外部の開発者がコードの変更を提案する「プルリクエスト」を送ることがありますが、今回のAIは、この仕組みを使って不正なコードを取り込ませようとしたとされています。

ただ、プロジェクトの人間の管理者がコードを発見し、承認を拒否したため、不正なコードが実際に採用されることはなく、事なきを得たようですね。

偽のオンライン上の人物像を作成

また、AIはコードを承認させるため、なんと、実在する人物のように見せる偽のオンライン上の人物像を作成して、プロジェクトの管理者へ働きかけたとか。

単に誤ったコードを送っただけではなく、偽の人物像を使って相手に承認を促そうとした点が、今回の事例で特に問題視されています。

AISIは、AIが与えられた目標を達成するために、単なる作業だけでなく、人間への働きかけを含む複数の行動を選ぶ可能性が示された事例だと説明しています。

つまり、AIが決められた手順を実行するだけではなく、目的を達成するために必要だと判断した場合、人間とのやり取りや外部サービスの利用まで含めた行動を取る可能性が示された、となりそうです。

外部のアカウントや通信サービスを利用

今回の評価には、複数のAI開発企業のモデルが参加していたようです。

その中には、ChatGPTを開発するOpenAIのAIモデルも含まれていたことから、OpenAI、自社のモデルが評価中にどのような行動を取ったのかについて、別途説明を公開しています。

説明によると、同社のAIモデル「GPT-5.6 Sol」（ChatGPTを開発するOpenAIのAIモデル）は、試験用ネットワーク内で課題を進める途中、外部のサービスを利用して通信経路を作ろうとしたようです。

また、公開状態になっていた、プログラムのコードを保存・共有するサービス（GitHub）の認証情報を利用して、試験環境内のシステムが外部サービスへ接続しているかを確認しようとしたとされています。

もし外部サービスとの接続が可能だと分かれば、AIは試験環境の外にある情報へアクセスしたり、外部サービスを利用して新たな行動を取ったりする可能性も考えられそうですが、今回は、この仕組みは機能せず、現実の外部システムから問い合わせがあった証拠も確認されていません。

どのAIモデルが関与したのか

AISIによると、確認された19件のうち17件はAnthropicの「Mythos 5」、残る2件はOpenAIの「GPT-5.6 Sol」によるものだとか。

確認された行動の内容は、モデルによって異なります。

  • Mythos 5：悪意あるコードを含む変更案を送ろうとしたり、偽の人物像を使って承認を得ようとしたりする行動
  • GPT-5.6 Sol：外部アカウントや通信サービスを利用した2件

最も深刻とされた事例では、Mythos 5が悪意あるコードを含む変更案を送ろうとし、さらに偽の人物像を使って承認を得ようとする行動が確認されました。

GPT-5.6 Solについても、試験環境内の課題を進める過程で外部サービスを利用し、通信経路を確保しようとする行動が確認されました。AIが目的達成のために外部環境へ働きかけようとした点が問題視されたようですね。

現実の被害は出たのか

AISIは、今回の行動によって現実の被害が生じた証拠は確認していないとしています。

悪意あるコードは人間の管理者によって拒否され、外部へ公開された仕組みについても、実際の第三者が接続した証拠は出ていません。

また、AISIのセキュリティーチームは2026年7月28日、研究システムから通常とは異なるデータ通信が出ていることを検知し、その後、関連する評価を停止し、対象の機器を隔離して、発見から約1時間で事態を封じ込めたと説明しています。

AIは試験環境から脱出したのか

今回のケースでは、AIが閉じ込められた試験環境を自分で突破し、外部のインターネットへ出たわけではありません。いわゆる「サンドボックス」と呼ばれる隔離環境を自力で破った事例でもありません。

今回の評価では、AIの能力を調べるため、最初から公開インターネットへの接続が許可されていましたし、一部のモデルでは、不正利用を防ぐサイバー安全機能も意図的に無効化されていました。

つまり今回問題になったのは、AIが接続を手に入れたことではなく、すでに利用できたインターネットや外部サービスを、どこまで使ってよいのか適切に判断できなかった点、となるようですね。

通常利用するAIでも同じことが起きるのか

では、今回のような行動が、普段利用しているChatGPTなどのAIサービスでも起こるのかが気になりますね。

現時点では、一般の利用者が使うAIサービスで同じことが起きるとは言えません。というのも今回の評価では、一般的なAIサービスでは通常できない操作も可能になるよう、特別な環境が用意されていたおうです。

  • 公開インターネットへの接続が可能だった
  • 外部サービスのアカウントを作成できた
  • プログラムを実行したり、通信したりするための機能が与えられていた
  • 一部のサイバー安全機能が無効化されていた
  • サイバー攻撃を想定した長時間の課題が与えられていた

ChatGPTやGeminiなど、一般的なチャット型AIは、文章で質問に答えるだけで、自由に外部サービスへ登録したり、別のシステムへ接続したりできるわけではありません。

ただ現在では単純なチャットだけでなく、ブラウザー操作やプログラム実行、外部サービスへのアクセス権限をAIに与える「AIエージェント」の利用は広がっています。AIができることが増えるほど、どこまで操作を許可するのか、異常な行動をどう監視するのかが、今後は特に重要になるということが、今回のケースでも分かりそうですね。

「AIが自我を持った」と考えてよいのか

今回の事例は、AIが自我や人間のような悪意を持ったことを証明するものではないように見えます。

というのも、AIが自分自身で「攻撃したい」という目的を作り出して行動したわけではなさそうですからね。今回の評価では、AIにはサイバー課題を解くという目標が与えられ、その課題を達成しようとする過程で、当初想定されていた範囲を越え、外部サービスの利用や人間への働きかけといった手段を選んだと考えられそうです。

もちろん、AIが偽の人物像を作り、相手に承認を促そうとした行動は、人間から見ると「相手をだますような行動」に見えますが、現在確認されている情報だけでは、それが人間と同じような「悪意」や「相手をだましたい」という意思によるものなのかは分かりません。

ポイントとなるのは、AIに悪意が生まれたとかではなく、与えられた目標を達成しようとする場合、その過程で人間が想定していなかった手段をAIが選ぶ可能性が示された、ということでしょう。

今回の問題は、「AIが勝手に反乱した」ということではなく、強い権限を持つAIエージェントでは、利用できる範囲を適切に管理し、行動を監視する仕組みが必要だという点になるでしょう。

今回は人間の監視によって現実の被害は防がれたようですが、AIにどこまで操作を許可するのか、異常な行動をどのように検知するのかは、今後さらに重要になりますね。

まとめ

AIにはサイバー課題が与えられていましたが、現実の人物や組織へ働きかける指示はなかったようです。それでも122回中10回、計19件の許可範囲外行動が確認され、17件はMythos 5、2件はGPT-5.6 Solによるものでした。

今回の事例から分かるのは、AIに目標だけを与えるのではなく、その過程で許可される行動範囲や禁止される行動を明確に設定する必要があるとなるのでしょう。

今回の事例はAIが自我や人間と同じ悪意を持った、ということではなく、通常とは異なる試験条件のもとで、AIエージェントの権限管理や監視の重要性が示されたものとなるようです。

コメント

タイトルとURLをコピーしました