過検出は「閾値の問題」ではなく「良品の定義の問題」

過検出(虚報、オーバーキルとも呼ぶ)は、良品を不良と判定することです。過検出が多いと、再検査の工数が増え、AIを入れた効果が消えます。不良品として廃棄すれば歩留まりも下がります。

最初に思いつく対策は閾値を緩める(異常と判定する基準を上げる)ことですが、外観検査では見逃しと過検出がトレードオフの関係にあり、閾値を緩めれば見逃しが増えます。見逃しは流出不良とクレームに直結するため、多くの現場は見逃しをゼロに近づける閾値を選び、その分の過検出を人の再検査で吸収する運用になります。

つまり、過検出を減らす本筋は閾値の調整ではなく、良品と不良品の分布そのものを離すことです。良品のばらつきをモデルが正しく「良品」として理解していれば、閾値を厳しくしても過検出は増えません。閾値の決め方の考え方は見逃しと過検出のトレードオフでも整理しています。

過検出の原因を4つに分ける

対策を打つ前に、過検出として弾かれた画像を集めて、原因別に分類します。原因によって効く対策がまったく違うためです。

原因典型的な症状確認方法
A. 良品のばらつきを学習していない特定ロット・材料・季節で過検出が急増過検出画像のロット・材料を集計する
B. 撮像条件の変動時間帯や日によって過検出率が変わる基準ワークの画像輝度の推移を見る
C. 不良の定義が曖昧人の再判定でも意見が割れる同じ画像を複数の検査員に判定させる
D. 許容される軽微な欠陥まで拾う小さな異常を正しく見つけているが合否上は良品異常箇所の大きさ・位置を限度見本と比べる

Aは良品学習で最も多い原因です。色ムラ、刻印違い、材料ロットの違いといった自然なばらつきを学習データに含めていないと、AIはそれを異常と判定します。Cは見落とされがちですが、人の判定が割れる画像はAIに正解を教えられないため、モデルの問題ではありません。

過検出を減らす7つの対策

原因と対策の対応を示します。上から順に効果が大きく、取り組みやすいものです。

過検出の4つの原因と7つの対策の対応図 A 良品ばらつき未学習 B 撮像条件の変動 C 不良の定義が曖昧 D 軽微な欠陥まで拾う 1 ばらつきを含む良品を追加学習 2 品種・材料別にモデルを分ける 3 照明・位置決めを安定させる 4 検査領域をマスクで限定 5 限度見本を統一し画像で持つ 6 大きさ・位置の後段ルール判定 7 人の再判定と閾値の最終調整
過検出の原因(左)と効く対策(右)の対応。閾値の調整は最後の手段になる。
  1. ばらつきを含む良品を追加学習する:過検出で弾かれた画像のうち、人が良品と再判定したものを学習データに戻します。ロット・材料・季節の変化をカバーするように、集める期間を分散させます。
  2. 品種・材料別にモデルを分ける:色や表面処理が違う品種を1つのモデルでまとめると、良品の分布が広がりすぎます。外観が大きく違う品種はモデルを分け、MESの品番情報で切り替えます。
  3. 照明・位置決めを安定させる:基準ワークの画像輝度を毎シフト記録し、変化が出たら照明やレンズを点検します。治具の摩耗による位置ずれも過検出の原因になります。
  4. 検査領域をマスクで限定する:刻印、ラベル、製品の端など、毎回見た目が変わるが品質に関係しない領域を検査対象から外します。
  5. 限度見本を統一し、画像で持つ:「どこまでが良品か」を示す限度見本を、実物だけでなく画像でも管理し、検査員とAIの学習データで同じ基準を使います。
  6. 大きさ・位置で後段のルール判定をする:AIが異常箇所を出した後に、面積が規格未満、または外観上問題にならない位置なら良品とするルールを足します。原因Dに効きます。
  7. 人の再判定と閾値の最終調整:ここまでやっても残る過検出は、人の再判定で吸収します。閾値は、ここで初めて見逃しと再判定工数のバランスで決めます。

人の再判定フローを工程として設計する

過検出をゼロにすることは現実的ではないため、人の再判定を最初から工程として設計します。決める項目は、再判定を誰がどこで行うか(ライン内か、ライン外の検査台か)、再判定の待ち時間がタクトに影響しないか、再判定の結果を誰がどこに記録するか、の3点です。

再判定の結果は、AIの判定結果と同じロット・シリアルに紐付けて記録します。こうすると「AIは不良、人は良品」とされた件数を、品番別・ロット別・日別に集計でき、過検出率の推移が見えます。過検出が特定の材料ロットで増えているなら、上の対策1か2が効くという判断もできます。

PatchCoreのMVTec AD全体での誤判定数
42件
Roth et al.(CVPR 2022)。画像AUROC 99%台でも誤判定はゼロにならない

公開データセットで最高水準の手法でも、誤判定はゼロになりません(PatchCore論文、F1最大となる閾値で42件)。条件の整ったデータでもこの水準ですから、量産ラインでは人の再判定を前提に設計するほうが確実です。

過検出率を測り続ける

対策の効果を確かめるには、過検出率(良品のうち不良と判定された割合)を継続的に測ります。過検出率と再判定にかかった工数を週次で見て、上がり始めたら原因A〜Dのどれかを確認する、という運用にしてください。測り方の詳細は外観検査AIの精度評価で解説しています。

よくある質問

過検出率はどのくらいまで許容されますか?

決まった基準はなく、再判定にかけられる人員と時間で決まります。たとえば1シフトに再判定できる個数の上限から逆算し、過検出率の上限を決める方法が実務的です。見逃し率の上限と合わせて、PoCの前に合否基準として決めておきます。

過検出が多いならモデルを不良学習に替えるべきですか?

原因Aのように良品のばらつきが大きい製品では、不良学習のほうが過検出は少なくなることがあります。ただし不良学習は未知の欠陥を見逃しやすくなります。良品学習で広く拾い、不良学習で絞り込む2段構成も検討してください。

再学習はどのくらいの頻度で行いますか?

材料の切り替え、設備や治具の変更、季節の変わり目など、良品の見た目が変わるイベントのたびに要否を判断するのが基本です。過検出率の推移を見て、上昇が続いたら再学習するという運用ルールにしておくと、担当者の判断が楽になります。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この特集について

外観検査AIの選び方

良品学習か不良学習か、撮像系を誰が持つか。精度の数字だけで選ばないための比較軸 全51本

  1. 外観検査AIとは?2つの学習方式と導入5ステップを製造現場の目線で解説
  2. 製造業のAI活用10領域:外観検査・予知保全から設計・技能伝承まで一覧
  3. 外観検査AI製品の比較軸10項目:学習方式・撮像系の範囲・エッジ対応・再学習の手間
  4. 自動車メーカーのAI活用:溶接・塗装検査から生産計画・フィジカルAIまで10用途
特集の記事をすべて見る →

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。