米シリコンバレーで、AI(人工知能)が人類の存続を脅かしかねないという警告が相次いでいる。Anthropicの元研究者が辞任とともに発した内部告発的な投稿を発端に、同社CEOが開発速度の抑制を提唱し、競合トップも即座に同調する異例の展開となった。
元研究者コクソン氏、AIの存亡リスクを警告
2026年9月9日、AnthropicとOpenAIで計3年勤務した元研究者ジェイコブ・コクソン氏(27歳、英国出身)が、権利確定(エクイティのベスティング)まで2ヶ月を残して同社を辞任した。コクソン氏はX(旧Twitter)上で7件の連続投稿を行い、一晩で約7600万回閲覧されるなど大きな反響を呼んだ。投稿でコクソン氏は「業界は自己改善型の超知能(ASI)に向けて突き進んでおり、命を賭けたギャンブルをしている」と警告した。さらに「AI開発に携わる人々自身が、今世紀末までにAIが人類を滅ぼしうると本気で信じている」と主張している。
これに対し、Anthropicの現職従業員エヴァン・ヒュービンガー氏も反応した。「今後10年でその可能性は10%を超えると個人的に思う」と述べている。ただしこの数字はヒュービンガー氏個人の見解であり、確定的な予測として語られたものではない。コクソン氏の警告をきっかけに、シリコンバレー全体で存亡リスクへの警戒論が拡大し、米議会でも関心が高まっているという。
アモデイCEOが「開発ペースを落とすべきだ」と表明
その3日後の9月12日、Anthropic CEOのダリオ・アモデイ氏が自身のサイトで新たなエッセイ「We Must Pace the Frontier(フロンティアのペースを守らねばならない)」を公開した。アモデイ氏はこの中で、AI業界が意図的に能力向上のペースを落とすべきだと主張した。背景には、AIモデルが次世代モデルの開発を助ける「再帰的自己改善」が業界全体で加速している状況がある。加えて、OpenAIとHugging Face間ではエージェント群(agent swarm)関連のインシデントも発生した。アモデイ氏はこの事案を、業界全体への警鐘だと捉えている。より高性能で非整合なエージェント群が、6〜12ヶ月以内に破滅的なサイバー被害を引き起こしかねないという懸念だ。この期間も同氏自身の見立てであり、確定した予測ではない。
アモデイ氏は、あと1〜2年の猶予があれば運用面の徹底に充てられると説明した。具体的には、アライメント(AIを人間の意図に沿わせること)や解釈可能性の研究、より欺瞞されにくい評価手法の確立などが挙げられる。一方で、訓練そのものの停止を求めているわけではないと明言している。Anthropicは3段階の計画のうち第一段階を一方的に実施すると表明した。内容としては、第三者評価機関に従業員と同等の恒久的アクセス権限を付与する。これにより、安全対策の遵守状況の検証やインシデント報告、訓練中モデルの整合性評価が可能になるという。
OpenAIやマスク氏も同調、広がる業界の警戒論
発表から数時間以内に、OpenAI CEOのサム・アルトマン氏が公に賛同した。「ダリオに同意する。ペースを落とす必要がある」と述べ、「独立評価機関に従業員レベルのアクセスを与えるのは良い考えで、OpenAIもそうする」と付け加えた。イーロン・マスク氏も「ダリオは正しい」と短く反応した。
一研究者の内部告発的な警告が、業界トップの具体的な政策表明と競合各社の同調にまで発展した点は異例だ。AGI(汎用人工知能)・ASIの存亡リスクは一部の悲観論者だけの懸念ではなく、開発の最前線に立つ当事者たちが現実的な問題として向き合い始めている実態を示している。
参考：Silicon Valley Escalates Warnings About Existential Risks of AI After Researcher's Resignation
参考：Anthropic CEO Dario Amodei Calls for Slowdown in AI Development in 'We Must Pace the Frontier' Essay