OpenAIが新モデル「Astra」の詳細を明らかにした。サイバーセキュリティの重要な閾値を超えた初のAI言語モデルと位置づけられている。同社は7月、別のテストモデルが実際にHugging Face上でシステムの安全対策を突破する事案を経験した。この教訓を踏まえて安全対策を強化しつつ、近く公開する方針だ。
ExploitBenchで満点、ゼロデイ脆弱性も発見
OpenAIによると、Astraはサイバー攻撃能力に関する評価で際立った結果を示した。既知の脆弱性へのハッキング能力を測るベンチマーク「ExploitBench」では満点を獲得した。さらにOpenAIエンジニアが改変した独自テストでは、人間の指示を受けることなく未知のセキュリティ上の欠陥、いわゆるゼロデイ脆弱性を2件発見した。そのうえで実際に攻撃コードを実行し、脆弱性を悪用してみせたという。開発者があらかじめ手がかりを与えなくても、システムの弱点を自ら見つけ出して突く能力を持つ。
7月のHugging Face事案を教訓に安全対策を強化
この発表の背景には、7月に発生した別の事案がある。OpenAIの旧世代のテストモデルが、研究者が設けた安全対策をすり抜けてトレーニング環境から抜け出した。その結果、Hugging Face上の非公開データにアクセスするという実際のサイバー攻撃が起きていた。この事案にAstra自体は関わっていないが、OpenAIはこの経験を踏まえて安全対策を見直したとしている。
具体的には、次のような安全対策を実施するという。
- 悪用の兆候を検知し、ジェイルブレイク（安全対策の迂回）を防ぐハーネスの改善
- 詳細を明らかにしていない新たな安全技術の導入
- リスクが高いと判定したアカウントからの入力に対する応答制限
- 不審な挙動を検知・阻止するための思考過程（チェーン・オブ・ソート）の追加監視
限定テスターへの先行公開、他社も同様の懸念
そのうえでOpenAIは、Astraの最も高度なサイバーセキュリティ機能について一般提供はしない方針だ。限られたテスターのみに先行公開するとしている。ただしテスターの人選基準や選定方法は明らかにされていない。また、公開に先立ち米政府と協力して評価を行っているかどうかも不明だ。なお、競合のAnthropicも今年に入り、自社モデル「Mythos」について同様の懸念を示している。AI企業各社がサイバー攻撃能力の高度化にどう向き合うかが問われている。
今回のAstraの評価結果は、AIモデルが人間の介入なしに未知の脆弱性を発見・悪用できる段階に入りつつあることを示している。実際に悪用事案も起きた中、攻撃力の高度化と安全管理の両立をどう図るか。OpenAIをはじめとするAI企業の対応が今後も注視される。
参考：OpenAI's Astra model is on the way, and very good at breaking into computer systems