ラベルの揺れはモデルの精度の上限になる
AIは、学習データに付いた「良品」「不良品」「不良の種類」というラベルを正解として学びます。同じような画像に、ある検査員は「良品」、別の検査員は「キズ」と付けていれば、モデルはその境界をはっきり学べません。評価用データのラベルも揺れていれば、精度の測定値そのものが信用できなくなります。
公開データセットでも、ラベルは簡単ではありません。外観検査の代表的なベンチマークであるMVTec AD（CVPR 2019）は、15カテゴリに73種類の欠陥タイプを含み、1カテゴリあたり平均5種類あります。研究用に整えられたデータでさえ欠陥の種類は多く、実際の工場ではこれに「どこからが不良か」という境界の判断が加わります。また、PatchCoreの論文では、画像AUROC 99%台の条件でもF1最大の閾値でMVTec AD全体に42〜49件の誤判定が残ると報告されています。誤判定を分析すると、モデルの誤りだけでなく、ラベル自体が境界上にあるケースが混ざります。
揺れの原因は大きく3つです。
| 原因 | 例 | 対策の方向 |
|---|---|---|
| 基準の曖昧さ | 「目立つキズは不良」のように言葉だけで定義 | 限度見本と寸法・面積の基準を作る |
| 人による差 | 熟練者と新人、日勤と夜勤で判定が違う | 二重判定と一致率の測定 |
| 時期による変化 | 顧客クレーム後に基準が厳しくなった | ラベルの版と基準改定日を記録する |
5つのルール
- 限度見本を学習データの起点にする：良品と不良の境界にある実物（または画像）を限度見本として整備し、ラベル付けの前に全員で確認します。言葉の定義だけでは揺れが残ります。画像なら、境界の両側の例を各不良種類で数枚ずつ揃えます。
- 二重判定で一致率を測る：学習データの一部（たとえば1〜2割）を2人以上が独立にラベル付けし、一致率を測ります。一致しなかった画像は、熟練者か品質保証部門が最終判定し、その結果を限度見本に追加します。一致率が低い不良種類は、定義を見直すか、学習では1つの種類にまとめます。
- グレーゾーンを独立したラベルにする：境界上の画像を無理に良否どちらかに振り分けず、「判定保留」のラベルを用意します。保留は学習から除くか、運用で人の再判定に回す対象として扱います。無理に振り分けたグレーゾーンは、モデルの境界をぼかす最大の要因です。
- ラベルにも版を持たせる：判定基準を改定したら、改定日とラベルの版を記録します。古い基準のラベルで学習したモデルを新基準で評価すると、精度が下がったように見えます。どの基準のラベルで学習したかは、モデルの版と一緒に管理します。
- MESの検査実績と紐付ける：検査員の判定結果をロット・シリアル・検査日時・検査員IDと一緒にMESや検査システムに記録しておけば、運用中のデータがそのまま次の学習データの候補になります。再判定の結果も同じ形で残します。
ラベル付けの工数をどう見積もるか
ラベル付けは、PoCでも本番でも見落とされやすいコストです。Anacondaの「2022 State of Data Science」（n=3,493、2022年4〜5月）では、データサイエンティストは時間の約38%をデータ準備とクレンジングに使い、モデルの選択・学習・デプロイには約26%しか使っていませんでした。製造業ではこれに、ラベルの判断ができる検査員や品質保証の担当者の時間が加わります。この人たちは本業が忙しく、外部に任せることもできません。
見積もりでは、次の3つを分けて数えます。
- 初回のラベル付け：画像枚数×1枚あたりの判定時間。二重判定する割合の分を上乗せする
- 不一致の解消：不一致になった画像を熟練者が判定し直す時間と、限度見本の更新
- 運用中の追加：品種追加、基準改定、ドリフト対応の再学習のたびに発生するラベル付け
予知保全・品質AIのラベルも同じ考え方
画像以外でも、正解ラベルの問題は同じです。予知保全では「故障」のラベルが保全記録（CMMS）の記述から作られることが多く、「部品交換」が故障によるものか定期交換かが区別されていないと、正しいラベルになりません。品質の要因分析では、不良コードの体系そのものがラベルになります。
- 予知保全：故障モード、発生日時、対象部位を保全記録から構造化する。手順は保全記録を予知保全AIの教師データにするを参照
- 品質分析：不良コードを現象と原因に分け、粒度を揃える。詳しくは不良コード・停止理由コードの設計を参照
よくある質問
ラベル付けを外部の作業者に委託できますか？
境界が明確な作業（物体の位置を囲む、明らかな欠陥にマークする）は委託できます。良否の境界の判断は、限度見本を理解している社内の検査員か品質保証部門が行うべきです。委託する場合も、一部を社内で二重判定して一致率を確認します。
一致率はどのくらいあればよいですか？
業界で決まった基準はありません。重要なのは、不良種類ごとに一致率を測り、低いものを特定することです。一致率が低い不良種類は、AIにも同じように難しい境界なので、学習から外すか人の判定に残す判断材料になります。
過去の検査記録をそのまま学習に使えますか？
使える場合もありますが、記録時の判定基準と現在の基準が同じかを確認してください。基準が改定されていれば、改定前のラベルは使わないか、一部を現在の基準で付け直します。画像が残っていない記録は、画像系のAIの学習には使えません。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係：ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由：PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR：紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ：ユースケースから逆算する8ステップ
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
