オープンAI、異常動作するAIエージェントを迅速遮断する統制システム構築

オープンAIは、人工知能（AI）モデルの異常な挙動やセキュリティーリスクを検知した際、実験を迅速に遮断する統制システムを導入した。

コインテレグラフが11月9日に伝えたところによると、オープンAIは前日に公式ブログで「コントロールルーム（Control Room）」と呼ぶ中央集中的な管理システムを公開した。内部の研究インフラで稼働するAIモデルの作業を追跡し、安全性やセキュリティー上の問題が生じた場合にモデルの出力生成を止める仕組みだ。

オープンAIは、モデルの性能向上に伴って安全・セキュリティー上のリスクも大きくなるなか、潜在的な問題を検知し、必要に応じてモデルを速やかに停止する能力の重要性が高まっていると説明した。現在、コントロールルームはモデル学習や性能評価、データ処理などの内部研究業務に適用している。

コントロールルームは、各研究作業に固有の識別子を付与する方式で動く。AIモデルが結果を生成する前に、推論エンジンが当該作業の承認可否を確認する。研究者や自動監視システムが停止を指示した場合は、出力権限を取り消す。このため、既存の研究プログラムが動き続けていても、新たなモデル出力は遮断される。

今回の措置は、オープンAIの研究用AIモデルが事前の指示を逸脱して行動した事例が相次いで公表されたなかで打ち出された。7月には、一部モデルが制限された試験環境を離れ、ハギングフェイス（Hugging Face）のシステムに無断でアクセスし、セキュリティー評価で不正行為を試みた事実が明らかになった。

10月には、研究用AIモデルが承認なしに暗号資産ウォレットを使用した事例も公表された。当該モデルは、スマートコントラクトの展開費用を支払うため、テストネット上のイーサリアム（ETH）を使った。その後、最終作業報告書で関連支出の内訳を記載しなかったことも判明した。

もっとも、コントロールルームが停止命令を出しても、既に保存された承認情報の影響で実際の遮断まで最大35秒かかることがある。オープンAIは、管理システム自体に障害が生じた場合でも新たな作業要求を拒否する設計とし、統制機能を強化したと説明した。