最大のリスクは「過剰な権限」

OWASPの「Top 10 for LLM Applications 2025」は、LLMアプリの主要リスクの1つに「Excessive Agency（過剰な権限・自律性）」を挙げています。エージェントに必要以上の機能、権限、自律性を与えると、誤った判断やプロンプトインジェクション（外部の文書に埋め込まれた指示でAIの動作を乗っ取る攻撃）によって、意図しない操作が実行されるという問題です。

製造業でこれが具体的に何を意味するかは、エージェントがつながる先で変わります。MESなら、誤ったロットのホールド解除や実績の二重計上。ERPなら、誤った数量での発注や製造指図のリリース。設備なら、パラメータの書き換えです。いずれも、後から取り消せても、その間に製品が流れてしまえば影響は残ります。

MCP（Model Context Protocol、AIと外部システムをつなぐ共通仕様）の仕様書（2025-06-18版）も、「ツールは任意のコード実行を表す」ため、ホストはツール呼び出しの前にユーザーの明示的な同意を得なければならないとし、プロトコル自体はこれらのセキュリティ原則を強制できないと明記しています。権限の設計は、使う側の責任です。

権限を広げる4段階

エージェントの権限は、次の4段階で順に広げます。各段階で数か月運用し、誤りの傾向を確認してから次に進みます。

読み取り専用から限定自律までの4段階の権限設計 段階1読み取り専用実績・在庫・保全記録の照会のみ要件：参照範囲の制限 段階2下書き作成起票案・指図案を作り人が自分で登録要件：下書き領域の分離 段階3承認後の書き込み人が承認ボタンを押すとエージェントが登録要件：承認UI・監査ログ 段階4限定自律決めた範囲の操作は自動実行・事後確認要件：取り消し手順・上限 品質記録・トレーサビリティに影響する操作は、段階3を上限とする
エージェント権限の4段階。段階が上がるほど、承認・ログ・取り消し手順の要求が重くなる。

段階1でも、参照範囲は制限します。人事情報や原価、顧客別の価格など、エージェントの用途に不要なデータは見せません。段階2では、エージェントが作るのはあくまで下書きで、本番データとは別の領域に置きます。段階3で初めて、エージェントが本番システムに書き込みます。段階4は、影響が小さく取り消しが容易な操作に限ります。

MESのトランザクション単位で権限を切る

権限は「MESに書き込める／書き込めない」の二択ではなく、トランザクション（業務上の処理単位）ごとに切ります。MESの実装でよく使う処理を、影響の大きさで分けると次のようになります。

トランザクション影響エージェントへの許可の目安
実績・停止履歴・品質記録の照会なし段階1から許可
停止理由のコメント追記、保全依頼の起票小（取り消し容易）段階3、慣れたら段階4
作業指示の順序変更、段取り計画の変更中（現場の動きが変わる）段階3（生産管理者の承認）
実績計上、不良数の計上大（実績・原価に影響）段階3（作業者・班長の承認）
ロットのホールド・ホールド解除大（品質・出荷に影響）ホールドは段階3、解除は許可しない
マスタ変更（BOM・工程・レシピ）極大（全ロットに影響）許可しない

ホールドとホールド解除を分けているのは、誤りのコストが非対称だからです。誤ったホールドは出荷が遅れるだけですが、誤った解除は不良品の流出につながります。

承認・ログ・取り消しの3点セット

段階3以降に進む前に、次の3つを用意します。

  1. 承認UI：承認者がエージェントの提案内容、根拠となったデータ、変更前後の差分を1画面で確認できること。根拠が見えない承認は、形だけの承認になります
  2. 監査ログ：エージェントが呼んだツール、入力、結果、承認者、時刻を記録し、品質記録と同じ期間保存すること
  3. 取り消し手順：エージェントの操作を元に戻す手順を、操作の種類ごとに文書化しておくこと。MESの逆仕訳（取消実績）やERPの指図取消など、システムの機能で戻せるかを確認します

承認者や承認の置き場所の設計はHuman-in-the-loopの設計で詳しく扱います。

海外の製品はどう設計しているか

主要ベンダーの製造業向けエージェントも、多くは段階2〜3の設計です。SAPのField Service Dispatcher Agentは各提案をディスパッチャーが検証する設計とされ、Tulipは2026年10月に、権限と監査証跡の下で外部AIツールと連携するネイティブMCPコネクタをプレビューとして発表しました。AWSはBedrock AgentCoreに、ツールアクセスを制御して不正な操作をブロックするPolicy機能を追加しています（2025年12月）。製品を選ぶときは、こうした権限・承認・ログの機能がトランザクション単位で設定できるかを確認します。MCPを使う場合の注意点はMCPを工場に入れるにまとめています。

よくある質問

読み取り専用でもリスクはありますか

あります。参照範囲が広すぎると、エージェントの回答を通じて本来見られない人に機密情報が渡ります。また、プロンプトインジェクションで外部に情報を送らせる攻撃も考えられます。読み取りでも、用途に必要な範囲に絞ってください。

承認を毎回求めると、かえって手間が増えませんか

増えます。そのため、承認の手間に見合う効果がある業務から始めること、承認画面で根拠と差分を一目で確認できるようにすることが重要です。運用実績を見て、影響の小さい操作から段階4に移します。

ERPとMESで権限の考え方は違いますか

基本は同じですが、ERPは会計や購買に直結するため、金額や数量の上限を設ける考え方が有効です。MESは品質記録とトレーサビリティへの影響で判断します。

この記事に出てくる用語

用語集（日・英・中）をすべて見る

この記事のテーマ
#AIエージェント#MES連携#セキュリティ

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。

運営者情報　編集方針　株式会社サオスのサイト