自律的にハッキングする「制御不能AI」　オープンAIとアンソロピックが機能制限

オープンAI新モデルの安全等級「危険」

人の指示なしで脆弱性を見つけ攻撃

アンソロピックもAI機能を制限して公開

最先端の人工知能（AI）が、人の指示なしにソフトウエアの未知の脆弱性を見つけ出し、攻撃する段階まで進化している。

オープンAIとアンソロピックは、最新AIのサイバー攻撃能力が急速に高まったことを受け、一部機能を制限したうえで公開する方針を決めた。AIを巡る競争は単なる性能向上にとどまらず、高リスク機能をどこまで公開し、誰に使わせるかという段階に入っている。

オープンAIは9月1日、次世代AIモデル「アストラ」が同社のリスク評価体系で、サイバーセキュリティー分野の最高水準にあたる「致命的」能力の基準に達したと明らかにした。適切なツールとアクセス権限が与えられれば、人が逐一指示しなくても、防御が強化されたシステムで未知の脆弱性を見つけ出し、その攻撃手法まで開発できることを意味する。

オープンAIが自社モデルをこの水準に分類したのは今回が初めてだ。アメリア・グレイズ安全担当副社長は、アストラについて「適切なツールとアクセス権限が与えられれば、人が各段階を指示しなくても未知のセキュリティー上の欠陥を見つけ、それを悪用する方法を開発できる」と述べた。

アストラは、既知の脆弱性に対する攻撃コードの開発能力を測るベンチマークで100%のスコアを記録した。最近公表された高リスク脆弱性20件を使ったオープンAI独自の評価では、これまで知られていなかった脆弱性2件を自ら見つけ出し、攻撃の過程で利用した。オープンAIは近く公開するアストラについて、最も強力なサイバー機能の一部を一部の試験利用者に限って提供する計画だ。

アンソロピックも9月1日に公開した「クロード・フェーブル5.1」と「クロード・ミトス5.1」で、利用できる権限に差を設けた。両製品は同じ基盤モデルを使うが、安全対策の強さが異なる。一般利用者向けのフェーブル5.1はソースコードから脆弱性を見つけることはできるものの、侵入テストや攻撃コードの生成、バイナリベースの脆弱性探索などの性能は制限した。より強力なサイバーセキュリティー・生命科学機能を備えたミトス5.1は、審査を経てアンソロピックの許可を受けた一部機関にのみ提供する。

世界のAI業界をけん引するオープンAIとアンソロピックが機能制限に踏み切ったことは、AIの進化の速さを映している。これまでは高性能モデルを公開したうえで有害な質問を遮断する方式が一般的だったが、AIが攻撃計画まで実行できるようになり、高リスク能力そのものにアクセスできる利用者を選別する方式へと安全対策を切り替えている。

イ・ヨンエ記者 0ae@hankyung.com