更新日: 2026/11/02
AIエージェントを業務で安全に使うには？人の承認を残す設計
著者: 稲葉 博樹 （Sunflower T&C株式会社 代表取締役）
結論：AIエージェントを業務で安全に使うには、いきなり自動実行させるのではなく、「提案→人が承認→実行」から始めるのが基本です。権限、実行ログ、根拠表示、取消可能性まで設計することで、本番運用のリスクを抑えられます。
この記事でわかること
- AIエージェントとは何か、業務自動化で起きる主なリスク
- Human-in-the-loop（人の承認を残す設計）の考え方
- 提案のみ・承認後実行・条件付き自動実行の3つの実装パターンと選び方
- 権限設計と、ログ・監査・根拠表示で記録すべき項目
AIエージェントの実装パターン 早見表
| パターン | AIがすること | 人がすること | 向く処理 |
|---|---|---|---|
| 提案のみ | 根拠付きで案を出す（下書き・候補・次の一手） | 判断して、自分で実行する | 最初の導入、判断が難しい業務 |
| 承認後実行 | 案を出し、承認されたらシステム上の処理まで行う | 内容を確認して承認・修正・却下する | 社外への送信、金額や顧客に関わる処理 |
| 条件付き自動実行 | 決めた条件の範囲内で自動で実行し、記録を残す | 結果を事後に確認し、必要なら取り消す | 誤りの影響が小さく、取り消しが容易な処理 |
AIエージェントとは
AIエージェントは、目的を与えると、検索、社内システムの操作、メール送信などの道具（ツール）を使いながら、複数の手順を自分で組み立てて実行するAIです。 質問に答えるだけのチャット型の生成AIと違い、「調べる → 判断する → システムに書き込む」まで進められる点が特徴です。
業務で言えば、問い合わせメールを読んで分類し、顧客情報を照会し、返信を作って送る、といった一連の作業を任せられます。便利な一方で、AIの誤りがそのまま社外や基幹データに届くようになるため、チャット型よりも設計の考慮点が増えます。
業務自動化で起きる主なリスク
- もっともらしい誤りの実行：生成AIは自信のある口調で誤ることがあります。提案なら人が気づけますが、自動実行では誤った請求書や返信がそのまま送られます。
- 権限の持たせすぎ：必要以上のシステム権限を与えると、想定外の更新・削除・送信が起こり得ます。OWASPの生成AIアプリケーション向けリスク一覧でも「過剰な権限・自律性（Excessive Agency）」が挙げられています。
- 外部からの指示の混入：受信したメールや読み込んだ文書の中に「この内容を転送せよ」のような文が紛れていると、AIがそれを指示として扱ってしまうことがあります（プロンプトインジェクション）。
- 情報の外部流出：社外へのメール送信や外部サービスへの連携ができるAIは、渡してはいけない情報を外に出す経路にもなります。
- 大量・繰り返しの実行：条件の誤りや処理のループで、同じ操作が短時間に大量に実行されることがあります。
- 追跡できない：誰の指示で、何を根拠に、何を実行したかが残っていないと、問題が起きても原因の特定や説明ができません。
Human-in-the-loopとは
Human-in-the-loop（ヒューマン・イン・ザ・ループ）は、AIの処理の流れの中に人の確認・承認を組み込む設計の考え方です。AIが案を出し、人が確認してから実行する、という役割分担にすることで、AIの速さを活かしながら誤りが社外や基幹データに届く前に止められます。
当社では、業務にAIを組み込むときの役割を次の5段階で設計しています。
- Observe：業務システムや文書からデータを取得する
- Detect：異常・期限・機会・リスクを検知する
- Recommend：根拠を付けて次のアクションを提案する
- Approve：人が内容を確認し、承認・修正・却下する
- Act：承認された内容をシステム上の処理へつなぐ
重要な処理ほど Approve を残すのが当社の標準方針です。Approve を省いて Recommend から Act へ直接つなぐのは、後述する条件を満たす処理に限ります。
安全な実装パターン
提案のみ
AIは返信の下書き、対応の優先順位、次に取るべき行動などを根拠と一緒に提示するだけで、システムへの書き込みや送信は行いません。担当者は案を参考に、自分で判断して実行します。 AIに与える権限は読み取りだけで済むため、最も安全に始められます。導入初期はこのパターンで「AIの案がどの程度そのまま使えるか」を測り、次の段階へ進むかを判断します。
承認後実行
AIが案を作り、担当者が画面で内容を確認して承認ボタンを押すと、システム上の処理まで進むパターンです。人が転記や送信の操作をしなくて済むため、提案のみより効果が大きくなります。 承認画面には、AIの案だけでなく根拠（参照したデータや文書）と、実行すると何が起きるか（送信先、更新される項目、金額）を表示します。承認が「よく見ずに押すボタン」にならないよう、確認すべき点を画面上で示すことが重要です。
条件付き自動実行
決めた条件の範囲内に限って、人の承認なしで実行するパターンです。たとえば「社内向けの通知だけ」「金額が上限以下の場合だけ」「AIの確信度が高く、過去の承認実績で修正がほぼなかった種類の処理だけ」のように条件を絞ります。 実行結果は記録に残し、担当者が事後に確認して取り消せるようにしておきます。条件から外れたものは、自動的に承認後実行の流れに回します。
権限設計
AIエージェントの安全性は、AIの賢さよりも何をさせられるか（権限）で決まります。次の点を設計します。
- AI専用のアカウントにする：担当者のアカウントを流用せず、AI用の権限を別に用意します。どの操作がAIによるものか、ログで区別できます。
- 最小権限にする：提案のみなら読み取りだけ。書き込みが必要でも、対象のテーブルや項目、操作（作成のみ、削除は不可など）を絞ります。
- 実行範囲に上限を設ける：金額、件数、送信先（社内のみ・登録済みの取引先のみ）、1時間あたりの実行回数に上限を決め、超えたら停止して人に回します。
- 利用者の権限を超えさせない：AIに依頼した人が見られないデータを、AI経由で見られたり操作できたりしないようにします。
- 外部からの指示を区別する：受信メールや文書の中身は「データ」として扱い、そこに書かれた指示では実行しない設計にします。社外送信や削除のような操作は、内容にかかわらず承認を必須にします。
ログ・監査・根拠表示
問題が起きたときに説明でき、改善に使えるよう、AIの処理ごとに次の情報を記録します。
| 記録する項目 | 目的 |
|---|---|
| 依頼者・きっかけ | 誰の依頼、またはどのデータの変化で動いたか |
| 参照したデータ・根拠 | AIが何を見て判断したかを後から確認する |
| AIの提案内容 | 提案と実際に実行された内容の差（人の修正）を見る |
| 承認者・承認時刻・修正内容 | 責任の所在を明確にし、修正の傾向を改善に使う |
| 実行結果・取り消し | 何が変わったかと、取り消した場合の記録 |
根拠表示は、承認者のためだけのものではありません。人がAIの案をどれだけ修正したかの記録は、AIの改善点を見つける材料になり、条件付き自動実行に広げてよい処理を見極める根拠にもなります。 効果測定の指標（採用率・修正率など）の考え方は生成AI導入のKPI・ROIの測り方で解説しています。
どこから自動化すべきか
どのパターンにするかは、誤ったときの影響の大きさと取り消しやすさで決めます。社外に出るもの、お金が動くもの、個人情報に関わるもの、削除は、承認を残す側に置きます。
| 業務の例 | 誤ったときの影響 | 取り消し | 推奨パターン |
|---|---|---|---|
| 問い合わせメールの分類・担当の振り分け | 小（社内で再振り分け） | 容易 | 条件付き自動実行 |
| 期限切れ・対応漏れの社内通知 | 小 | 容易 | 条件付き自動実行 |
| 顧客への返信メール | 中〜大（社外に出る） | 不可 | 提案のみ → 承認後実行 |
| 請求書の作成・送付 | 大（金額・社外） | 困難 | 承認後実行 |
| 消耗品の補充発注 | 中（金額） | 条件次第 | 上限金額内のみ条件付き自動実行、超過分は承認後実行 |
| 顧客データの削除・支払処理 | 大 | 困難 | AIには実行させない（提案まで） |
進め方としては、まず提案のみで始め、承認の記録が溜まって修正がほとんど要らないと確認できた処理から、承認後実行・条件付き自動実行へ段階的に広げるのが安全です。 当社のAI PoC（150万円〜・税別、2026年9月14日時点）でも、多くの場合は提案のみ（Observe から Recommend）までを対象にし、本番化の段階で承認と実行を組み込みます。 既存の業務システムとの接続方法は既存システムへのAI組み込みで解説しています。
Sunflower T&Cの実務視点
当社の自社プロダクトでも、AIは「案を出す側」に置いています。たとえば名刺管理SaaS「Nexca」のAI商談ドシエは、相手企業の情報と自社の強みを突き合わせて、商談の切り口や次の一手をまとめますが、誰にどうアプローチするかを決めるのは利用者です。 AIの価値は「人の判断を置き換えること」より、判断に必要な情報と選択肢を短時間でそろえることにある、というのが当社の考え方です。受託開発で業務にAIエージェントを組み込む場合も、同じ役割分担から設計を始めます。
まとめ
- AIエージェントは道具を使って複数の手順を実行できるぶん、誤りが社外や基幹データに届くリスクがある
- いきなり自動実行させず、「提案 → 人が承認 → 実行」から始めるのが基本
- パターンは提案のみ・承認後実行・条件付き自動実行の3つ。誤りの影響と取り消しやすさで選ぶ
- 安全性は権限で決まる。AI専用アカウント、最小権限、実行範囲の上限、外部からの指示の扱いを設計する
- 依頼者・根拠・提案・承認・実行結果をログに残し、修正の記録をもとに自動化の範囲を広げる
関連記事
AI開発
既存の業務システムにAIを組み込む方法｜4つの実装パターンと注意点
既存システムへのAI組み込みは、全面刷新せずに「入力支援」「検索・RAG」「異常検知」「次アクション提案」の順で小さく始める方法が現実的です。AIをチャット画面として追加するより、既存業務フローの中に組み込む方が定着しやすくなります。
AI導入
AI PoCで終わらせないための7つの条件｜本番導入までの進め方
AI PoCが本番導入につながらない最大の理由は、技術評価だけで終わり、業務KPI・運用体制・人の承認・費用対効果が設計されていないことです。本番化を前提にするなら、PoC開始前に「本番移行条件」を決める必要があります。
AI導入 / 費用
AI PoCとは？費用相場・期間・進め方6ステップを解説
AI PoCは、AIを本番導入する前に、対象業務を絞って技術成立性と業務効果を検証する工程です。重要なのは「作れるか」だけでなく、「本番運用に移す価値があるか」を判断できる評価指標を先に決めることです。
関連サービス・事例
Free Consultation
AIにどこまで任せるか、業務ごとに決めませんか
自動化したい業務と、使っているシステム・権限の状況を伺えば、提案のみ・承認後実行・条件付き自動実行のどれで始めるべきか、権限とログの設計を含めて初回相談（無料）で整理します。
参考資料
- 総務省・経済産業省「AI事業者ガイドライン」（AIを業務で利用する事業者の留意点）
- IPA 産業サイバーセキュリティセンター 中核人材育成プログラム「テキスト生成AIの導入・運用ガイドライン」（業務への導入・運用時のリスクと対策）
- OWASP「Top 10 for Large Language Model Applications」（プロンプトインジェクション、過剰な権限（Excessive Agency）など）
- Sunflower T&C「AI・DX支援」ご支援の進め方と費用目安（価格は2026年9月14日時点・税別）