Anthropicが「AI開発の一時停止」を提案 — 再帰的自己改善(RSI)の何が危険なのか徹底解説
はじめに
「AIが、自分より賢いAIを自分で作り始めたら、人間はもう止められるのか」——この問いを、ほかでもないフロンティアAI開発の当事者であるAnthropicが正面から投げかけた。2026年6月、同社は「When AI builds itself」と題したレポートを公開し、AIによる**再帰的自己改善（Recursive Self-Improvement, RSI）**のリスクを警告。条件が整うなら「AI開発を意図的に減速・一時停止する用意がある」と表明した。本記事では、この提案が何を主張しているのか、その根拠となる衝撃的な数字、実現を阻む「検証可能性」の壁、そして「IPO直前のポジショントークではないか」という批判までを、エンジニアの視点で整理する。
Anthropicは何を提案したのか
レポートの核心は、世界が協調してフロンティアAI開発を一時停止できる「選択肢」を持つべきだという主張だ。目的は、技術の進歩に対して社会制度やアライメント（AIを人間の意図に沿わせる）研究が追いつくための時間を稼ぐこと。
重要なのは、Anthropicが「単独での停止には意味がない」と明言している点だ。1社だけがブレーキを踏めば競合が先行するだけで、安全性は何も改善しない。だからこそ求められるのは、複数国・複数ラボが参加する協調的な減速制度であり、かつ各参加者が「相手が本当に止めた」ことを検証できる仕組みである。
提案の中心概念であるRSIは、「AIシステムが、人間が各ステップを主導することなく、自らの後継モデルを自律的に設計・構築・訓練するプロセス」と定義されている。Anthropicは現時点で到達していないとしつつ、十分な計算資源があれば実現しうると警告する。SF的な飛躍ではなく、すでに進行中のトレンドの延長線上にある、というのが彼らの立場だ。
「コードの80%をAIが書く」— 加速を示す数字
主張を裏付けるために、Anthropicは自社の内部データを開示した。これがレポートで最も生々しい部分だ。
- 2026年5月時点で、自社コードベースにマージされるコードの80%以上をClaudeが執筆。2025年2月のClaude Code機能リリース以前は「低い一桁台（%）」だった。
- エンジニア1人あたりの1日のコードマージ量は、2024年から2026年Q2で約8倍に増加。
- コード品質は「2025年後期は人間より劣っていたが、現在はほぼ同等。1年以内に人間を上回る」と予測。
さらに示唆的なのが、AIが独力で完遂できるタスクの長さが約4ヶ月ごとに倍増しているという指標だ。
| 時期 | 自律遂行できるタスクの長さ |
|---|---|
| 2024年3月 | 約4分 |
| 2025年3月 | 約1.5時間 |
| 2026年3月 | 約12時間 |
| 2027年（予測） | 数週間規模の仕事 |
「コードを書くAI」が「AIを書くAI」になるまでの距離は、この曲線が示すほど遠くない、というのがレポートの含意である。
技術的背景 — なぜ「止める」のがこれほど難しいのか
仮に停止すべきだと合意できたとして、最大の障壁は**検証可能性（verifiability）**だ。Anthropicはこの困難を率直に認めている。
第一に、AIの訓練実行は「ミサイル基地より隠蔽しやすい」。核兵器なら衛星で施設を監視できるが、訓練に使うGPUクラスタは汎用品であり、用途を外から判別しにくい。第二に、全員が止める中で密かに開発を続ければ独走できるため、抜け駆けのインセンティブが極めて大きい。
歴史的な参照点としてレポートが挙げるのが、中距離核戦力（INF）条約のような軍縮枠組みだ。だがそうした検証体制の構築には数十年を要しており、「AIにはそれだけの時間がない」と警告する。技術的に見ても、AI開発の停止判定は核査察よりはるかに難しい——コードレビューという人間側のボトルネック（アムダールの法則）が検証体制を支えきれなくなる、という構造的問題が横たわっている。
Anthropicは将来を3つのシナリオに整理し、最も可能性が高いのは「人間が研究の方向性を設定し結果を判定する一方、開発の実行は大幅に自動化される」シナリオだとする。この世界で人間に残る役割は、コードを書くことではなく「AIが出した結果が信頼できるかを検証・確認するシステムを構築すること」へとシフトする。
エンジニアへの影響と、拭えない違和感
エンジニアにとって、このレポートは2つの実務的メッセージを含んでいる。ひとつは自分の仕事の重心が「実装」から「検証・レビュー・方向づけ」へ移るという予告。AIが書いた大量のコードを人間がどう監査するか——その仕組みづくりこそが今後の中核スキルになる。もうひとつは、「AIにコードの80%を書かせる」体制が、すでに一企業の理想論ではなく現場の運用実態として語られ始めたという事実だ。
一方で、この提案には強い批判もある。Anthropicは2026年6月初旬にIPOを申請したとされ、直近の評価額は約9,650億ドル、上場規模は1兆ドルを超える可能性がある。「ブレーキを踏め」と説きながら1兆ドル上場に突き進む矛盾に、多くの論者が首をかしげた。Bentley大学のNoah Giansiracusa准教授は「これは本気の減速の呼びかけではないと思う」と述べ、CEOのDario Amodei自身がフルスピードでの開発継続を望んできた経緯を指摘する。規制の目をフロンティアに向けさせつつ、自らはレースを走り続けるための競争戦略ではないか、という見方だ。
ただし、擁護論も成立する。AI駆動の研究加速についてここまで詳細な内部数値を開示したこと自体が、ガバナンス議論への実質的な貢献だという評価である。動機の純粋さはともかく、議論の土台となるデータが当事者から出てきた意義は小さくない。
まとめ
- Anthropicが2026年6月、AIが自らの後継を作る「再帰的自己改善(RSI)」を警告し、世界協調での開発一時停止という選択肢を提案した。
- 根拠は自社の内部データ——コードの80%超をClaudeが執筆し、AIの自律タスク遂行能力は約4ヶ月で倍増している。
- 最大の壁は「本当に止めたか」を確認する検証可能性で、AI訓練は核施設より隠しやすく抜け駆けの誘惑も大きい。
- エンジニアの役割は「実装」から「AIの成果の検証・方向づけ」へ移行していく。
- 一方でIPO直前という時期から、提案をポジショントークと見る批判も根強い。
動機をめぐる論争はあれど、「AIがAIを作るループ」が現実の運用データとして語られ始めたこと自体が転換点だ。停止の是非より先に、私たちが問われているのは「AIの仕事をどう検証するか」という、より足元の課題かもしれない。
ソース
- AIがAIを育てる恐怖のループ。Anthropic自ら「いったんAI開発停止」と業界に提案（PC Watch）
- When AI builds itself（Anthropic Institute）
- Anthropic warns AI may soon begin recursive self-improvement（Scientific American）
- Anthropic urges AI labs to pause, warns humans risk losing control（Al Jazeera）
- Anthropic warns AI could soon build itself without human involvement（Fortune）
今日のその他のニュース
Xiaomiが1兆パラメータで毎秒1000トークンの「MiMo-v2.5-Pro-UltraSpeed」を発表 — 大規模モデルの推論速度競争が新局面に。1Tクラスで1000tps級のスループットを謳い、Hacker Newsで341ポイントを集めた。(詳細)
パスキー神話崩壊 — Google Password Managerの同期機能を狙う新攻撃手法 — 「パスワードレスで安全」とされてきたパスキーに対し、同期機構を悪用する攻撃が指摘された。認証セキュリティの前提を見直す内容で、はてブ140users。(詳細)
Pythonの型チェッカー乱立問題 — 5つも走らせる必要があるのか — mypy/pyright/pyrefly/ty など乱立する型チェッカー事情を整理。プロジェクトでどれを採用すべきかの実務的論点を提示する。(詳細)