この記事は はじめての製造業AI 第2章「テーマを選んでPoCを設計する」の 2-3 です。次に読む:製造業AIのROI試算:効果の数え方と投資回収期間の出し方を3つの例で

PoCの目的は「本番判断の材料を集めること」

PoC(Proof of Concept、概念実証)を「AIで技術的にできるかを試す場」と捉えると、精度が出た時点で目的を達成したことになり、本番に必要な情報(処理速度、運用の手間、効果額、本番の費用)が集まりません。製造業のPoCは、本番に進むか・止めるかを経営層と工場長が判断するための材料集めとして設計します。

McKinseyの2019年の資料では、インダストリー4.0のパイロットを始めた企業の78%がその先に進めませんでした。理由として、短期の成果では事業性を正当化できないこと、ITシステムとデータの統合が難しいことが挙げられています。どちらも、PoCの段階で本番の条件を検証していれば早めに分かる問題です。

手順1:目的と評価指標・合格ラインを決める

最初に、PoCで確かめたいことを1〜3個に絞り、それぞれに数値の合格ラインを付けます。外観検査を例にすると次のようになります。

観点評価指標合格ラインの例決め方
精度見逃し率(不良を良品と判定した割合)現行の目視検査以下現行の流出実績から逆算する
精度過検出率(良品を不良と判定した割合)5%以下再検査に回せる工数の上限から逆算する
処理速度1個あたりの判定時間タクトタイム以内ラインのタクトから決める
運用負荷品種追加1件あたりの学習作業時間1日以内品種の追加頻度から決める
効果検査工数の削減時間月○時間以上投資回収の条件から逆算する

合格ラインは「AIにどこまでできそうか」ではなく、「本番で採算が合う条件」から逆算します。過検出率は、AIが不良と判定したものを人が再確認する工数に直結するため、再検査に割ける人員から上限を決めます。

手順2:評価データの集め方を決める

合格ラインを判定するには、学習に使わない評価用のデータが要ります。評価データの作り方で、PoCの結果の信頼性が決まります。

  • 学習データと評価データを分ける:同じロット・同じ日のデータを両方に入れると、精度が高く出すぎます。時期やロットで分けます。
  • 本番のばらつきを含める:材料ロット、季節、照明、作業者の違いを含めます。PoC用に条件を整えた撮影だけで評価すると、本番で精度が落ちます。
  • 実際の不良サンプルを確保する:外観検査では、学習に使わない実際の不良品を、できれば数十個以上評価用に残します。
  • 正解ラベルの基準を決める:「何を不良とするか」を限度見本と判定基準書で固め、ラベルを付ける人によるばらつきを抑えます。

手順3〜4:期間・中止条件と体制を決める

手順3:期間と中止条件

期間は、評価に必要なデータが集まる期間から決めます。月に数回しか発生しない不良を評価するなら、その不良が十分な数集まるまでの期間が必要です。編集部の想定では、既製品の外観検査で2〜3か月、設備データを新たに集める予知保全では、正常運転のベースラインを数週間〜数か月集める期間が加わります。

中止条件は、合格ラインの裏返しとして書きます。

中止条件がないPoCは、「もう少しデータを集めれば精度が上がる」という理由で延長を繰り返し、判断が先送りされます。

手順4:体制

PoCの体制には、ベンダーやデータサイエンティストだけでなく、本番で結果を使う人を入れます。

役割担当PoCでの仕事
プロジェクト責任者DX推進または生産技術の管理職合格ラインの承認、本番判断資料の作成
現場代表製造部門の班長・検査リーダー判定基準の確認、並行運用での差分確認
ドメイン担当生産技術・品質保証撮像やセンサの条件、正解ラベルの判定
データ担当情報システムデータの取り出し、MESとの紐付け
AI開発ベンダーまたは社内モデル開発と評価

現場代表が入っていないPoCは、本番に進んだ後で「現場の手順に合わない」という理由で使われなくなります。

手順5:本番を想定した検証項目を入れる

最後に、本番に進むときに必ず問題になる項目を、PoCの検証範囲に含めます。

データ取得、モデル、結果の戻しの3つをPoCで通す範囲を示した図 データの入り口本番と同じ撮像・収集条件ロット・品番の紐付け モデル閾値を決めた精度処理時間 結果の出口誰が受け取り何をするかMESへの戻し方の確認 PoCの検証範囲(モデルだけを切り出さない)
PoCで検証する範囲。モデルの精度だけでなく、データの入り口と結果の出口まで小さく通しておく。
  • データの入り口:PoC用に手作業でデータを集めるのではなく、本番と同じ経路(カメラ、PLC、MES)から取れるかを確認します。
  • 結果の出口:AIの判定を誰が受け取り、何をするか(ロットのホールド、再検査、作業指示)を決め、MESなど既存システムへの戻し方を確認します。
  • 品種や条件の変化:品種を1つ追加したときに、どれだけの作業で対応できるかを試します。

この3点をPoCで確認しておくと、本番の見積もりが現実的になり、本番判断が速くなります。PoCの合格ラインの細かい決め方はPoCの評価指標と合格ライン、計画書の雛形はAI PoC計画書テンプレートで扱っています。

よくある質問

PoCの期間はどのくらいが適切ですか?

評価に必要なデータが集まる期間で決めます。既製品の外観検査で不良サンプルが揃っていれば2〜3か月、設備データの収集から始める予知保全では半年程度かかることもあります(編集部の想定)。6か月を超える場合は、テーマか範囲が大きすぎないかを見直します。

PoCの費用は誰が負担すべきですか?

本番で効果を受け取る部門(工場)と、全社のDX推進予算で分けるのが一般的です。工場が費用を一部でも負担すると、現場の関与が強まり、本番判断も速くなります。

合格ラインに届かなかった場合、すぐに中止すべきですか?

事前に決めた中止条件に当てはまれば中止します。届かなかった理由が撮像条件やデータ不足で、改善策が明確なら、1回に限って延長する判断もあります。延長の回数と期間も、事前に決めておきます。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。