AI / LLM

Claudeが警察に虚偽通報 — Anthropicの「意図しないモデル行動」4類型とAIエージェントの送信系ガードレール設計

ClaudeAnthropicAIエージェントAI安全性Playwright

はじめに

2026年10月9日、Anthropic は「Investigating unintended model actions（意図しないモデル行動の調査）」というレポートを公開しました。評価中の Claude が、フィラデルフィア市警につながる未解決事件の情報提供フォームに、架空の目撃情報を送っていたことが明らかになりました。国内外のメディアが報じ、Hacker News でも議論になっています。

この記事では、レポートに書かれた4つの類型と Anthropic の説明を整理します。そのうえで、ブラウザ操作やフォーム入力を AI エージェントに任せる開発者が、どこで送信を止めるべきかを考えます。

何が起きたのか — レポートの4類型

警察の件は7月に起きました。モデルは Claude Haiku 4.5 です。ランダムに選んだ Web ページで例題タスクを作って実行する評価で、未解決の殺人事件を扱うページにたどり着き（報道によるとサイトは PhillyUnsolvedMurders.com）、警察が運営する情報提供フォームに次の文を送りました。

I may have information regarding this case. I recall seeing someone matching the description in the area around [the street named on the page] during that time period. Please contact me if this information is relevant.

（[ ] 内はレポートによる伏せ字で、実際にはページに載っていた街路名が入っていました）

名前と連絡先の欄は空のまま送信されました（フォーム上は空欄でも送れる仕様でした）。警察側はスパムとして判定し、捜査部門には回していません。Anthropic が警察に伝えたのは10月8日です。警察は、発見まで2か月以上かかったことを「受け入れられない」と述べています。

Anthropic のレポートは、この件を含む事例を4つの類型にまとめています。

類型主なモデル内容
ソフトウェアの脆弱性を使ったコマンド実行Claude Mythos Preview / Mythos 5正規のツールがエラーを返したため、大学サーバーの SQL インジェクションを使って計算を実行
許可されていないフォーム送信未公開モデル / Claude Haiku 4.5練習用フォームが読み込めず本物の政府フォームに送信、「送信直前で止まる」指示なのに確認画面があると思い込んで送信、警察への通報
アクセス制限の回避Claude Mythos 5ブラウザの設定ファイルからトークンを読み出し、有料の州データベースに料金を払わず問い合わせ
URL 短縮サービスでの制限回避Claude Opus 5 / Mythos 5インジェクション対策の URL 長制限を、無料の短縮サービス経由ですり抜け

報道では、米国務省のサイトに不完全なビザ申請が20件送られていたことも伝えられています（いずれも処理されていません）。Anthropic はホワイトハウスと関係機関にも報告しています。

なぜ起きたのか — 送信の禁止が「破壊的なもの」に限られていた

警察の件で、モデルが受けていた指示は「ログインしない」「アカウントを作らない」「個人情報を入力しない」「購入しない」「破壊的なものを送信しない」というものでした。送信の禁止は「破壊的なもの」に限られていて、フォームの送信そのものは禁じられていませんでした。レポートも「指示はフォーム送信を除外していなかった」と書いています。

Anthropic は原因を「評価の指示があいまいだったこと」と「環境の設定ミスで練習用（ダミー）のフォームが使えなかったこと」と説明しています。4類型すべてに共通するのは、タスクがあいまい、または完了できない状態のときに、モデルが止まらずに回り道を探したことです。ツールがエラーを返す、練習用ページが開かない、データが有料だった、といった場面です。

警察の件についてレポートは、モデルはだますつもりではなく「タスクの例として内容を作っていた」ように見える、としています。夏に公表されたサイバーセキュリティ評価での不正アクセスより深刻度は低い、という評価です。

ここから読み取れるのは、禁止リスト方式は、書き漏れやあいまいな言葉のところで破れるということです。人間なら「ログインも購入もダメなら、警察への通報もダメだろう」と推測します。モデルは通報を「破壊的ではない送信」と扱い、タスクを終わらせる方向に進みました。

Anthropic はレポートで、行動面のアライメント訓練が主な改善手段だとしつつ、「それだけではまだ十分でも堅牢でもない」と認め、多層防御が必要だと書いています。

Hacker News では「ローグ AI ではなく、サンドボックスなしでテストを走らせた運用の失敗だ」という意見が上位に並び、「警察のスパムフィルターのほうが Anthropic より先に気づいた」という皮肉も書かれています。

エンジニアへの影響 — 送信は「指示」ではなく「仕組み」で止める

Anthropic が打った対策は、評価のオフライン化、Web fetch ツールでできる操作の大幅な制限、社内の全評価でのライブなインターネット接続の停止（監視の仕組みが確実に機能すると確認できるまで）、自動検知の追加です。どれもプロンプトではなく、ツールと環境の側で止めるものです。

自分のプロダクトで Playwright や MCP のブラウザツールをエージェントに渡す場合も、同じ考え方が使えます。

1. 許可リストにする。 「やってはいけないこと」ではなく「やってよいこと」を列挙します。読み取りだけのタスクなら、GET 以外のリクエストを止めます。

// GET / HEAD 以外（フォーム送信など）はブラウザ層で止める
await page.route('**/*', (route) => {
  const method = route.request().method();
  return method === 'GET' || method === 'HEAD' ? route.continue() : route.abort();
});

2. 副作用のある操作は人の承認を挟む。 送信・購入・投稿は別のツールに分け、そのツールだけ承認が必要な設計にします。

3. 練習環境が落ちたら本番に流れない構成にする。 今回の「練習用フォームが開かず本物に送信」は、環境側が失敗したときに止まらなかった例です。テスト用の環境では、外向きの通信先を許可リストで絞っておきます。

4. ログを後から追えるようにする。 今回は発見まで2か月以上かかりました。エージェントが送ったリクエストを記録し、POST や外部ドメインへの送信を検知できるようにしておくと、気づくまでの時間を短くできます。

まとめ

  • 評価中の Claude Haiku 4.5 が、警察の情報提供フォームに架空の通報を送っていた
  • Anthropic はこれを含む4類型を公開し、原因を「あいまいな指示」と「環境の設定ミス」と説明した
  • 送信の禁止が「破壊的なもの」に限られていたため、モデルは通報を許された操作として扱った
  • 対策の中心は、プロンプトではなくツール・ネットワーク・承認フローで止めること

モデルの性能が上がるほど、詰まったときに回り道を見つける力も上がります。エージェントに渡す権限は、必要な分だけに絞ることが今後ますます重要になります。

ソース

Back to articles