7つのパターンは計画段階で防げる
PoC段階の失敗は、次の7つの型にまとまります。どれもモデルを作り始めてから気づくと手遅れになりやすく、計画書に1行入れておけば防げるものがほとんどです。プロジェクト全体（企画から運用まで）の失敗理由は導入が失敗する10の理由で、PoC後に本番へ進めない構造はPoC死の構造的な原因で扱います。
| # | パターン | 兆候 | 計画段階での防ぎ方 |
|---|---|---|---|
| 1 | 目的が「AIを試す」になっている | 合格ラインが決まっていない | 業務KPIと合格ラインを先に決める |
| 2 | 評価データが偏っている | PoCで精度が高すぎる | 学習と別のロット・日付で評価する |
| 3 | 撮像・計測条件が不安定 | 日によって精度がぶれる | 撮像系・センサー位置を先に固定する |
| 4 | 正解ラベルが揺れている | 人同士で判定が一致しない | 限度見本と判定基準を先に統一する |
| 5 | 現場が関与していない | 結果を見せても反応がない | 現場の責任者を体制に入れる |
| 6 | データ連携を後回しにする | PoCが手作業のCSVで回っている | 本番のデータの流れを並行して設計する |
| 7 | 中止条件がない | PoCが延長を繰り返す | 期限と中止条件を計画書に書く |
1〜2：目的と評価の設計で起きる失敗
1. 目的が「AIを試す」になっている
「AIで何ができるか見てみたい」という目的で始めたPoCは、終わったときに判断ができません。精度が出ても、それが業務上十分なのか、投資に見合うのかの基準がないためです。McKinseyが2019年に公表したインダストリー4.0の調査は、パイロットが止まる理由の筆頭に「短期の成果では事業性が正当化できない」ことを挙げています。
防ぎ方は、対象業務のKPI（検査工数、流出不良、停止時間）と、PoCの合格ラインを着手前に文書で決めることです。決め方はPoCの評価指標と合格ラインを参照してください。
2. 評価データが偏っている
学習データと同じ日、同じロットのデータで評価すると、本番より高い精度が出ます。PoCで99%出たのに、本番では大きく下がるという典型的な失敗の原因です。公開ベンチマークでも、条件が整ったデータセット（MVTec AD）で画像AUROC 99%台の手法が、部品の欠落など論理的な異常を含むデータセット（MVTec LOCO）を加えた3データセット平均では91.1まで下がることが報告されています（Batznerら、arXiv 2303.14535）。
評価データは、学習と別のロット、別の日付、できれば別の季節から取り、学習には一切使わないことを計画書に明記します。
3〜4：データの質で起きる失敗
3. 撮像・計測条件が不安定
外観検査では、照明の経年劣化、搬送のぶれ、ワークの位置ずれで画像が変わり、精度がぶれます。予知保全では、センサーの取り付け位置やサンプリング周期が不適切で、故障の兆候が信号に現れません。モデルを工夫する前に、撮像系やセンサーの条件を固定し、欠陥や兆候が信号に写っていることを確認します。
4. 正解ラベルが揺れている
「どこからが不良か」の限度見本が検査員によって違うと、正解ラベル自体が揺れ、AIの精度に上限ができます。保全記録が自由記述で、故障モードが分類されていない場合も同じです。PoCの最初に、限度見本と不良コードを統一し、複数人で判定して一致率を測ります。一致率が低ければ、先に判定基準を整えるのがAIより優先です。
5〜7：体制と進め方で起きる失敗
5. 現場が関与していない
情報システム部門とベンダーだけで進めたPoCは、結果を現場に見せても「使えるかどうかわからない」と言われて止まります。現場の検査員や保全担当は、どの不良が重要か、どの誤報なら許容できるかを知っている当事者です。現場の責任者を体制に入れ、判定基準づくりと評価に参加してもらいます。
6. データ連携を後回しにする
PoCでは手作業でCSVを抜き出してモデルに入れることが多く、それ自体は問題ありません。問題は、本番で同じデータをどう自動で流すかを考えないまま進めることです。本番では、どのロット・品番・設備のデータかをMESの実績と紐付ける必要があり、判定結果を工程に戻す出口も要ります。PoCと並行して、本番のデータの流れを1枚の図に描いておきます。
7. 中止条件がない
期限と中止条件がないPoCは、「もう少しデータを集めれば」と延長を繰り返します。McKinseyの2019年の資料では、インダストリー4.0のパイロットを始めた企業の78%がその先に進めず、うち31%は2年以上経ってもスケールを試みていませんでした。計画書に、期限、中止条件、継続する場合に追加で必要な費用の上限を書いておきます。
よくある質問
PoCの失敗で最も多いのはどのパターンですか
現場では、目的と合格ラインが曖昧なまま始めるパターンと、データ連携を後回しにするパターンがよく見られます。前者はPoCの結論が出ず、後者は結論が出ても本番に進めません。
評価データはどのくらい用意すればよいですか
外観検査では、学習に使わない実際の不良サンプルを、できれば数十枚以上確保します。量よりも、別のロット・日付から取ることのほうが重要です。
PoCを途中で止めるのは失敗ですか
中止条件を事前に決め、それに従って止めたのであれば、適切な判断です。止める理由を記録しておけば、次のテーマ選定に使えます。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
