PoC計画書が要る理由:終わらせ方を先に決める
PoC計画書は、PoC(Proof of Concept:本番前の検証)を始める前に「何をもって成功・失敗とし、その後どうするか」を書き残す文書です。ベンダーの提案書とは別に、発注側が自分で書きます。
McKinseyが2018年に公表した調査(7市場・700社超)では、デジタル製造の取り組みを全社展開できた企業は約30%で、障壁として「ROIの欠如」が61%の企業から挙がりました。PoCの段階で効果の測り方と本番化の条件を決めていないと、精度の数字だけが残り、投資判断の材料になりません。
設計の考え方は製造業AIのPoC設計で解説しています。このページでは、テンプレートの12項目の書き方と記入例を示します。
12項目の構成
テンプレートはA4で4〜6ページに収まる分量を想定しています。項目は「なぜやるか」「何を測るか」「どう進めるか」「どう終えるか」の4ブロックに分かれます。
| No. | 項目 | 書く内容 | 書き漏らしたときに起きること |
|---|---|---|---|
| 1 | 背景と目的 | 解決したい損失と、PoCで確かめたい仮説を1〜2文で | 「AIで何ができるか試す」になり、評価軸が後から変わる |
| 2 | 対象範囲 | ライン・品番・工程・欠陥種類・期間を限定する | 範囲が広がり続け、期間が延びる |
| 3 | 期待効果 | 本番化した場合の年間効果額と算定式 | 精度が出ても投資判断ができない |
| 4 | 評価指標 | 見逃し率・過検出率・処理時間など業務に直結する指標 | AUROCなど現場が判断できない指標だけが報告される |
| 5 | 合格ライン | 指標ごとの数値と、測る条件(閾値・データ) | 「惜しい」結果で延長が続く |
| 6 | 評価データ | 学習に使わない評価用データの件数・期間・取得方法 | 学習データで評価して精度が高く見える |
| 7 | 期間と工程 | 開始日・終了日・中間レビュー日 | 終了日がなく、ずるずる続く |
| 8 | 体制と役割 | 発注側・ベンダー・現場の担当者と工数 | 現場の協力が得られずデータが集まらない |
| 9 | 費用と前提条件 | PoC費用、貸与機材、データ提供の範囲と形式 | 追加費用や権利の揉め事が後から出る |
| 10 | 中止条件 | どの時点でどうなったら止めるか | 失敗を認める基準がなく、撤退できない |
| 11 | 本番化の条件 | 合格後に必要な投資・体制・システム連携 | 合格しても次の予算が取れない |
| 12 | 判断会議と決定者 | 終了時の会議日、出席者、誰が決めるか | 報告会で終わり、誰も決めない |
記入例:塗装ブツの外観検査AI
架空の部品メーカーが、塗装ラインの外観検査AIをPoCする場合の記入例です(数値は説明のための例です)。
| 項目 | 記入例 |
|---|---|
| 1 背景と目的 | 目視検査に2名×2直を要し、ブツの見逃しで月1〜3件のクレームが出ている。良品学習型の異常検知で、人の検査の一次振り分けができるかを確かめる |
| 2 対象範囲 | 第2工場塗装ライン、品番A-100系3品番、欠陥はブツ・タレの2種類。凹み・色ムラは対象外 |
| 3 期待効果 | 本番化で検査員2名分(年1,200万円)の削減と、流出クレーム対応費(年300万円)の半減を見込む。過検出の再確認工数は差し引く |
| 4 評価指標 | 見逃し率(不良を良品と判定した割合)、過検出率(良品を不良と判定した割合)、1個あたり処理時間 |
| 5 合格ライン | 見逃し率0%(評価用不良50個中)、過検出率10%以下、処理時間はタクト8秒以内 |
| 6 評価データ | 学習に使わない良品500個・不良50個。3週間・3ロット以上から取得。限度見本で品証が正解を付ける |
| 7 期間と工程 | 8週間。2週目に撮像系の確認、5週目に中間レビュー、8週目に最終評価 |
| 8 体制 | 発注側:生技1名(0.3人月)、品証1名(ラベル付け0.2人月)。ベンダー:2名 |
| 9 費用と前提 | PoC費用XXX万円。カメラ・照明はベンダー貸与。画像の所有権は当社、学習済みモデルの扱いは別途協議 |
| 10 中止条件 | 2週目の撮像確認でブツが画像に写らない場合は中止し、撮像方式を見直す。5週目に過検出率30%超なら中止 |
| 11 本番化の条件 | 合格後、撮像系の常設(治具含む)、MESの検査実績への判定結果の登録、再学習の担当者の指名 |
| 12 判断会議 | 8週目の最終週に工場長・品証課長・生技課長で判断。決定者は工場長 |
書くときの注意:データとMES連携を本番化の条件に入れる
PoCは隔離された環境で行うことが多く、本番で必要になるデータ連携が計画から抜けがちです。項目11「本番化の条件」には、次の3点を必ず書きます。
- 判定結果をどこに記録するか(MESの検査実績、品質記録など)。ロット・シリアルと紐付けて残さないと、流出時の追跡も再学習もできません
- 再学習を誰がいつ回すか。品種追加や材料変更で精度が落ちたときの手順です
- 撮像条件や設備の変更を誰が管理するか。照明の交換やカメラ位置の変更は精度に直結します
PoCの費用見積と、合格後の本番費用を同時に出してもらうと、項目3と11の整合が取れます。ベンダーへの確認にはAIベンダーへの質問リスト60問が使えます。
よくある質問
PoCの期間はどのくらいが適切ですか?
用途とデータの準備状況で変わりますが、外観検査で撮像系が決まっていれば8〜12週間が一つの目安です。データを新たに集める必要がある場合は、収集期間を別に取ります。期間よりも、中間レビュー日と中止条件を決めておくことが重要です。
合格ラインに届かなかったら必ず中止ですか?
中止条件に当たらなければ、延長ではなく「条件を変えた次のPoC」として計画書を書き直します。何を変えるか(撮像方式、対象欠陥、評価データ)を明記しないまま延長すると、同じ結果を繰り返します。
生成AIのPoCでも同じテンプレートを使えますか?
使えます。評価指標を「回答の正確さ」「根拠文書との一致」「作業時間の短縮」などに置き換えてください。評価用の質問セットを事前に作り、項目6に件数と作り方を書きます。
