不良率が低い工程では「正解率」は役に立たない
1万個のうち不良が100個（不良率1%）の工程で、AIがすべてを「良品」と判定したとします。不良を1個も見つけていないのに、正解率は99%です。製造業の検査や異常検知は、不良や異常がまれな「不均衡データ」の典型で、正解率（Accuracy）は性能を表しません。
そのため製造業では、用途に応じて次の5つの指標を使い分けます。
| 指標 | 何を表すか | 主な用途 | 注意点 |
|---|---|---|---|
| 再現率（Recall） | 本当の不良のうち、AIが不良と判定できた割合。1から引くと見逃し率 | 外観検査、異常検知 | 閾値を下げれば上がるが、過検出も増える |
| 適合率（Precision） | AIが不良と判定したうち、本当に不良だった割合 | 外観検査、アラーム | 低いと再検査や無駄な点検が増える |
| F1スコア | 再現率と適合率の調和平均 | 手法の比較 | 見逃しと過検出のコストの違いを反映しない |
| AUROC | 閾値を動かしたときの判別性能を1つの数字にしたもの | 手法の比較、論文 | 実際に使う閾値での性能はわからない |
| MAPEなどの誤差指標 | 予測値と実績のずれの大きさ | 需要予測、品質予測 | 実績がゼロに近いと壊れる |
外観検査・異常検知の指標：再現率と適合率
外観検査では、混同行列（判定と実際の組み合わせを4つに分けた表）で考えるのが基本です。不良を不良と判定（真陽性）、不良を良品と判定（見逃し）、良品を不良と判定（過検出）、良品を良品と判定（真陰性）の4つです。
見逃しは流出不良とクレームに、過検出は再検査工数と歩留まりロスにつながります。コストの大きさが違うので、F1のように両者を同じ重みで扱う指標だけで判断せず、見逃し率と過検出率を別々に確認します。2つのバランスの決め方はしきい値を決める3つの方法で扱います。
AUROCは「手法の比較」に使う
論文やベンダー資料でよく見るAUROC（ROC曲線の下の面積）は、閾値をあらゆる値に動かしたときの判別性能を0.5〜1.0の1つの数字にまとめたものです。手法同士を比べるには便利ですが、実際に運用する1つの閾値で何件見逃すかは表しません。
PatchCore（Rothら、CVPR 2022）は公開データセットMVTec ADで画像レベルAUROC最大99.6%を記録しましたが、F1が最大になる閾値で数えると、データセット全体で42〜49件の誤判定が残りました。AUROC 99%台でも、誤判定はゼロになりません。
さらに、AUROCは測ったデータに強く依存します。Batznerら（arXiv 2303.14535）の比較では、MVTec ADで99%台の手法でも、部品の欠落や配置違いといった論理的な異常を含むMVTec LOCOを加えた3データセット平均では、PatchCoreが91.1まで下がりました。欠陥が小さい場合は、欠陥の領域ごとの検出率を平均するPRO（Per-Region Overlap）も併せて確認します。
予測の指標：MAPEとナイーブ予測との比較
需要予測や品質予測では、予測値と実績のずれを測る誤差指標を使います。代表的なMAPE（平均絶対パーセント誤差）は直感的ですが、実績で割るため、実績がゼロや0に近い品目があると値が壊れます。Hewamalageら（2022年）は、MAPEが100%を超えることがあり、すべてゼロと予測したほうがスコアが良くなる場合すらあるとして、間欠需要には向かないと指摘しています。
予測の指標で最も大事なのは、比較の基準です。前回値をそのまま使うナイーブ予測や、前年同期の値を使う季節ナイーブ予測と比べて、どれだけ良いかを示さなければ、モデルを評価したことになりません。製造業では最終的に、予測を使った在庫、欠品、段取り回数がどう変わったかで評価します。詳しくは需要予測の精度指標を参照してください。
時系列の異常検知では、点単位の再現率ではなく、「故障の何時間前に検知できたか」と「1日あたりの誤報件数」で評価するのが実務的です。
自社の評価で使う指標の選び方
| 用途 | 主に見る指標 | 合わせて見る指標 |
|---|---|---|
| 外観検査 | 決めた閾値での見逃し率 | 過検出率、1日あたりの再検査件数 |
| 設備の異常検知 | 故障の何時間前に検知できたか | 1日あたりの誤報件数 |
| 需要予測 | ナイーブ予測に対する改善率 | 在庫日数、欠品率の変化 |
| 品質予測（ソフトセンサー） | 予測誤差（RMSEなど） | 規格外の判定が一致した割合 |
よくある質問
正解率は使わないほうがよいのですか
不良や異常がまれな用途では、正解率だけで判断しないほうが安全です。良品と不良の比率が近い分類問題など、データの偏りが小さい場合は参考になります。
AUROCが高ければ本番でも高い性能が出ますか
保証されません。AUROCは閾値を決める前の判別性能で、測ったデータの条件にも依存します。本番に近いデータで、運用する閾値を決めて見逃しと過検出を数える必要があります。
人の目視検査と比べるにはどうすればよいですか
同じ評価データを人とAIの両方に判定させ、同じ指標で比べます。人の検査も見逃しがゼロではないため、人の実績を測っておくと、AIの合格ラインを現実的に決められます。
この記事に出てくる用語
外観検査AIの選び方
良品学習か不良学習か、撮像系を誰が持つか。精度の数字だけで選ばないための比較軸 全51本
- 外観検査AIとは？2つの学習方式と導入5ステップを製造現場の目線で解説
- 製造業のAI活用10領域：外観検査・予知保全から設計・技能伝承まで一覧
- 外観検査AI製品の比較軸10項目：学習方式・撮像系の範囲・エッジ対応・再学習の手間
- 自動車メーカーのAI活用：溶接・塗装検査から生産計画・フィジカルAIまで10用途
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
