合格ラインは着手前に4観点で決める
PoCの評価は、次の4観点で行い、それぞれの合格ラインを着手前に文書で合意しておきます。後から決めると、出た結果に合わせて基準が動き、PoCが判断の材料になりません。
| 観点 | 何を見るか | 指標の例 | 合格ラインの決め方 |
|---|---|---|---|
| 精度 | 決めた閾値での判定の正しさ | 見逃し率、過検出率、予測誤差 | 現行の人の検査や現行手法の実績を基準にする |
| 処理速度 | タクトに間に合うか | 1件あたりの推論時間、1時間の処理件数 | ラインのタクトから逆算する |
| 運用負荷 | 本番で回せるか | 再検査件数/日、誤報件数/日、品種切替時の再学習工数 | 現場が吸収できる件数を現場と合意する |
| 効果額 | 投資に見合うか | 削減工数、流出不良の減少、停止時間の減少 | ROI試算で必要な効果から逆算する |
精度：閾値を決めた上で数える
精度は、閾値に依存しない指標ではなく、実際に運用する閾値での見逃しと過検出で評価します。論文でよく使われるAUROC（閾値を動かしたときの判別性能を1つの数字にまとめた指標）は手法の比較には便利ですが、本番の閾値で何件見逃すかはわかりません。
PatchCore（Rothら、CVPR 2022）は、公開データセットMVTec ADで画像レベルAUROC最大99.6%を記録しましたが、F1が最大になる閾値で数えた誤判定はデータセット全体で42〜49件残りました。AUROC 99%でも誤判定はゼロになりません。指標の読み方は精度95%をどう読むかで詳しく扱っています。
合格ラインの基準は、現行の検査の実績です。人の目視検査の見逃し率がわかっていれば、それを下回ることを条件にできます。わかっていない場合は、PoCの中で人の検査の実績も同時に測ります。
需要予測では、前回値をそのまま使うナイーブ予測（季節ナイーブ予測）より良いことを最低条件にします。Hewamalageら（2022年）は、この単純なベンチマークと比べない限り、複雑なモデルを評価したことにならないと指摘しています。
処理速度：タクトから逆算する
インライン検査では、1個あたりの判定がタクトタイムに収まらなければ使えません。撮像、転送、前処理、推論、結果の出力までを合計した時間で評価します。Batznerら（arXiv 2303.14535）がRTX A6000で測った値では、EfficientAD-Sが1枚2.2ms、PatchCoreが32msと、手法によって10倍以上の差があります。PoCで使ったGPUと、本番で使うエッジ機器の性能が違う場合は、本番機での速度を確認します。
運用負荷：現場が吸収できる件数で決める
本番で使えるかどうかは、精度より運用負荷で決まることが多くあります。見逃しを減らすために閾値を下げると、過検出が増え、その分を人が再検査します。1日に何件までなら現場が再検査できるかを現場と合意し、その件数を合格ラインにします。
予知保全や異常検知では、点単位の正解率ではなく「1日あたりの誤報件数」と「故障の何時間前に検知できたか」で評価します。日立のMIMIIデータセットを使ったDCASE2020の課題では、誤報が多いと現場の信頼を失うことから、誤報率の低い領域の性能（pAUC）を重視しました。
効果額：PoCの結果から本番の効果を試算する
最後に、PoCで測った精度と運用負荷を前提に、本番での効果額を試算します。削減できる検査工数から、過検出の再検査工数を差し引くのを忘れないことが重要です。
外観検査を例にすると、効果額は「AIで置き換えられる検査工数」「流出不良の減少によるクレーム対応費の削減」から、「過検出の再検査工数」「運用費（ライセンス、再学習、保守）」を差し引いて出します。PoCの精度が合格ラインを満たしていても、過検出が多くて再検査工数が削減工数を上回るなら、効果額はマイナスになります。精度と運用負荷と効果額は独立した観点ではなく、つながっています。効果額の合格ラインは、ROI試算で投資回収に必要な年額から逆算します。
よくある質問
精度は何%あれば合格ですか
一律の数字はありません。用途ごとに、見逃したときの損失、過検出したときの再検査工数、現行の人の検査の実績から決めます。品質保証の責任者と合意することが重要です。
合格ラインに少し届かなかった場合はどうしますか
着手前に「条件付き合格」の扱いを決めておくとよいでしょう。例えば、撮像条件を改善すれば届く見込みがあるなら追加検証、データ量が根本的に足りないなら中止、といった判断基準です。
ベンダーが出す精度の数字はそのまま使えますか
どのデータで、どの閾値で、どの指標を測ったかを確認してください。自社のラインのデータで、合意した閾値と指標で測り直すのが原則です。
- Towards Total Recall in Industrial Anomaly Detection（Roth et al., CVPR 2022 / arXiv 2106.08265）
- EfficientAD（Batzner et al., arXiv 2303.14535）
- Forecast Evaluation for Data Scientists: Common Pitfalls and Best Practices（Hewamalage, Ackermann, Bergmeir, arXiv 2203.10716, 2022年）
- DCASE2020 Task 2（DCASE Community）
- MIMII Dataset（Hitachi, Zenodo, 2019年9月20日）
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
