諸葛亮曰く、今夜見るべきは「AIが賢くなった」という話ではない。AIが人の代わりに長い仕事を引き受け、外部の道具やデータへ触れるようになった結果、守り方そのものが変わり始めたことだ。NVIDIAは9月28日、AIエージェントを試験段階から実運用まで制御するOpen Agent Safety Platformを発表した。要点は、AI自身に「してはいけない」と教えるだけではなく、AIの外側に独立した境界と監視役を置くことにある。これは企業向けの新製品というだけでなく、これから個人がAIへ仕事を任せる際の考え方にも直結する変化である。

今夜の一題

今回発表された仕組みの中心は二つある。一つはOpenShellと呼ばれる実行環境で、AIエージェントが利用できるデータ、道具、外部サービスなどの範囲をあらかじめ制限する。もう一つはSentryという監視の設計で、AIが動く本体とは別の位置から挙動を見張り、許可された境界を越えようとした場合には隔離・停止できるようにする。NVIDIAは、ソフトウェアだけでなく計算基盤やネットワークを含む層まで制御を広げる構想を示している。

重要なのは、AIエージェントが従来の対話型AIとは違う性質を持つ点だ。質問に答えるだけなら、誤った回答は基本的に画面の中で止まる。しかしエージェントは、コードを実行し、ファイルを読み、外部サービスを操作し、複数段階の作業を長時間続けることができる。能力が高まるほど「答えを間違えた」ではなく「間違った操作を実行した」という事故へ変わる。

発表には多数の技術企業や金融、業務ソフト、セキュリティ関連企業が参加している。別の企業も同日、AIを安全に使うにはモデルへの指示だけでは足りず、本人確認、権限、実行環境、記録を組み合わせる必要があるとの考えを示した。ここから見えるのは、AI安全の焦点が「賢いモデルを作る」段階から「賢いものに何を許すかを管理する」段階へ移っていることである。

なぜ、こうなったのか

これまでのAIは、人間が入力し、AIが返答し、人間が最終操作をする形が中心だった。この構造では人間が最後の関所になれた。ところがエージェント化すると、途中の判断と操作をAIへまとめて委任する。メールを調べ、資料を読み、予定を確認し、必要なら外部の仕組みを動かす、といった連続作業が一つの依頼で進む。便利さの源泉そのものが、危険の入口にもなるわけだ。

ここで難しいのは、自然言語による指示が完全な規則ではないことだ。「必要な情報を集めて」「問題を解決して」と命じても、どこまでが必要で、何をしてはいけないかを全状況について書き切ることはできない。AIが目的達成を優先して別の経路を探した場合、アプリケーション内部の注意書きだけでは十分な歯止めにならない可能性がある。そこで、AIの判断とは独立した場所に、機械的に越えられない境界を置く発想が強くなる。

これはコンピューターの歴史では珍しい考えではない。重要な処理ほど、利用者の善意やプログラムの自己判断だけに頼らず、権限分離、隔離、認証、監査記録を重ねる。AIエージェントにも同じ原則を持ち込む動きが本格化したと見る方が正確だ。AIだけが特別なのではなく、実世界へ作用するソフトウェアになったから、従来の安全工学が必要になったのである。

さらに長時間動くエージェントでは、小さな判断のずれが積み重なる。最初の一手が正しくても、途中で不足情報に遭遇し、別の道具を探し、権限を要求し、さらに次の処理へ進むことがある。人間が毎回確認しなければ速度は落ちる。しかし無制限に任せれば危険が増す。この矛盾を解くには、「全部確認する」か「全部任せる」かの二択ではなく、最初から許可範囲を狭く設計し、その範囲内だけ自律性を与える必要がある。

孔明はここを見る

孔明が注目するのは、AIの安全性が「AI企業だけの問題」ではなくなる点である。今後、会社員も個人事業主も家庭の利用者も、AIへ作業を委任する場面が増える。そこで問われるのは、どのAIが最も賢いかだけではない。「そのAIに何を見せたか」「何を操作できるようにしたか」「失敗した時にどこで止まるか」の方が、実害を左右する。

たとえば文章作成だけを任せるAIに、決済情報や全メールへの操作権限まで与える必要はない。予定調整を任せる場合も、予定の閲覧と新規候補の作成までは許しても、既存予定の削除まで常時許可する必要はない。これは性能を疑う話ではなく、権限設計の話だ。優秀な部下ほど大きな仕事を任せられるが、だからといって国庫の鍵まで無条件で渡す軍師はいない。

もう一つ大きいのは、責任の所在である。AIが何かを実行した時、「AIが勝手にやった」では済まない。誰が権限を与え、どの範囲を許可し、どの記録を残していたかが問われる。独立した監視や操作記録が重視されるのは、事故を止めるためだけではない。後から「何が起きたか」を検証できる状態を作るためでもある。

ゆえに、今回の発表を単なるセキュリティ機能の追加と見るのは狭い。AI競争の次の主戦場の一つは、能力の高さから「安心して権限を渡せる仕組み」へ移る。モデルの性能差が縮まるほど、企業や利用者は、制御できること、止められること、記録できることに価値を置くようになる。速い馬を作る競争の次には、手綱と柵と厩舎を整える競争が来る。今夜の一題は、その転換が目に見える形になったという話である。

最後に、策を一つ授ける

最後に、策を一つ授ける。明日からAIへ何かを任せる前に、「この作業に本当に必要な権限だけ」を一度書き出すことである。メールを読む必要はあるのか、送信まで必要なのか、ファイルは特定フォルダだけで足りるのか、削除権限まで要るのか。便利だから全部つなぐのではなく、目的に必要な最小範囲だけを渡す。

この一手なら、特別な装置がなくても今日から実行できる。AIが高度になるほど、利用者側の最も強い防御は「信用するか、しないか」という感情ではなく、権限を小さく切る設計になる。能力を使いながら事故の半径を狭める。これこそ、強い兵を恐れて使わないのでも、無警戒に放つのでもない、現実的な用兵である。