PoCが放棄される4つの理由から逆算する
Gartnerは2024年8月、生成AIプロジェクトの少なくとも30%が2025年末までにPoC後に放棄されると予測しました。理由として挙げたのは、データ品質の低さ、リスク管理の不備、コストの増大、事業価値の不明確さの4つです（Intelligent CIO、2024年8月）。エージェント型AIについても、Gartnerは2025年6月、40%超のプロジェクトがコスト増・価値不明確・リスク管理不足で2027年末までに中止されると予測しています。
この4つの理由は、PoCの段階で確かめられるものです。つまり、PoCの評価項目をこの4つに対応させれば、本番に進んでから放棄するのではなく、PoCの段階で判断できます。
| 放棄の理由 | PoCで確かめること | 評価項目の例 |
|---|---|---|
| データ品質の低さ | 参照させる文書・データで正しく答えられるか | 評価用質問セットの正答率 |
| リスク管理の不備 | 誤答や情報漏えいが許容範囲か | 重大な誤答の件数、権限外の情報の表示 |
| コストの増大 | 本番規模での費用が見合うか | 1件あたりのAPI費用、運用工数の見積もり |
| 事業価値の不明確さ | 業務の成果に効くか | 業務KPIの変化、利用者の継続利用 |
開始前に決める3つのもの
1. 評価用質問セット
PoCの成否を決める最も重要な準備です。対象業務の担当者が、実際に聞きたい質問と、その正解（根拠となる文書の箇所を含む）を作ります。
- 数は30〜100問程度。簡単な質問だけでなく、複数の文書をまたぐ質問、文書に答えがない質問（「分からない」と答えるべき質問）も入れる
- 正解は担当者が作り、根拠の文書と箇所を記録する
- PoC中に質問を差し替えない（差し替えると前後の比較ができない）
評価用質問セットの作り方はRAGの評価方法で詳しく扱っています。
2. 合格基準
本番に進むための条件を、数字で決めておきます。製造業の業務では、正答率だけでなく「重大な誤り」の扱いを分けて決めることが大切です。
重大な誤りとは、規格値・トルク値・安全手順の誤り、権限のない人に機密文書の内容を見せること、などです。正答率が高くても、重大な誤りが1件でもあれば合格にしない、という基準を置くのが製造業では一般的な考え方です。
3. 中止基準
PoCが長引く最大の原因は、中止基準がないことです。「もう少し調整すれば良くなるかもしれない」という期待で延長が続きます。次のような中止基準を開始前に関係者で合意しておきます。
- 期間終了時に正答率が合格基準の一定割合に届かず、原因が文書側の整備では解決しない
- 重大な誤答が、対策後も一定件数以上残る
- 本番規模に換算した費用が、見込まれる効果を上回る
- PoC参加者の継続利用が一定割合を下回る（使われない）
「中止」は失敗ではなく、本番の投資を守るための判断です。中止した場合も、何が原因だったか（データ、モデル、業務の選び方）を記録しておけば、次のテーマ選定に使えます。
3か月の進め方
| 期間 | やること | 成果物 |
|---|---|---|
| 準備（開始前2〜4週） | 業務の選定、評価用質問セット、合格・中止基準の合意、参照文書の収集 | PoC計画書 |
| 1か月目 | 環境構築、文書の取り込み、初回評価 | 初回の正答率と誤答の分類 |
| 2か月目 | 誤答の原因分析（文書・検索・モデル）と改善、利用者による試用 | 改善後の正答率、利用ログ |
| 3か月目 | 最終評価、本番規模の費用試算、判定会議 | 判定結果と本番化計画または中止報告 |
2か月目の誤答の原因分析が、PoCで最も価値のある作業です。誤答の原因は、多くの場合モデルではなく、文書の側（旧版の混入、表や図の読み取り失敗、必要な情報がそもそも書かれていない）にあります。この分析は、本番化に必要なデータ整備の量を見積もる材料になります。PoC計画書の雛形はPoC計画書テンプレート、AI全般のPoC設計は製造業AIのPoC設計を参照してください。
よくある質問
PoCの期間を3か月より短くできますか？
評価用質問セットと参照文書が事前に揃っていれば、1〜2か月で判断できることもあります。逆に、準備ができていない状態で始めると、3か月でも判断できません。期間を短くするには、準備期間に力を入れることが近道です。
正答率の合格基準は何%にすべきですか？
業務によって違います。人が必ず確認する下書き用途なら比較的低めでも価値があり、現場の作業者が直接参照する用途なら高い基準が必要です。重要なのは、正答率と別に重大な誤りの扱いを決めることです。
PoCは外部に委託すべきですか？
環境構築は委託できますが、評価用質問セットの作成と判定は社内の業務担当者が行う必要があります。業務を知らない外部の会社に評価まで任せると、本番で使えるかの判断ができません。
この記事に出てくる用語
製造業の生成AI、どこまで任せられるか
文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本
- 製造業の生成AI活用の全体像：業務別12ユースケースと導入の順番
- 製造業の社内文書RAG入門：手順書・図面・品質記録を検索する5層構成
- Siemens Industrial Copilotの全体像：5系統の提供状況と狙い
- 生成AIの情報漏えい対策：製造業が決めるべき入力禁止情報とログ管理の7項目
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
