見逃しゼロを目指すと警報が形骸化する
AIの検知には必ず閾値があります。閾値を下げれば、危険を見逃す割合は減りますが、危険でないものを危険と判定する誤報が増えます。安全の用途では、見逃しのコストが極めて大きいため、再現率（危険を検知できた割合）を優先するのが原則です。
しかし、誤報が多すぎると別の問題が起きます。1シフトに数十回鳴る警報は、運転者や作業者にとって「いつものこと」になり、音を切る、画面を見ない、といった行動につながります。この状態では、本物の危険を検知しても誰も反応しません。結果として、再現率を上げたつもりが、現場で危険が回避される割合はむしろ下がります。
工業音響の異常検知のコンペティション（DCASE）が、評価に部分AUC（誤報の少ない領域だけでの性能）を重視しているのも同じ理由です。誤報が多い領域での性能は、実運用では意味がありません。
誤報は割合でなく「1日あたりの件数」で管理する
誤報の評価でよくある誤りは、誤報率（判定のうち誤報だった割合）だけを見ることです。誤報率1%でも、1日に1万回判定する仕組みなら、誤報は1日100件になります。現場が受け止められるかどうかは、割合ではなく件数で決まります。
設計の手順は次のとおりです。
- 警報を受ける人（運転者、作業者、班長）に、1シフトあたり何件までなら対応できるかを聞く
- その件数を誤報の上限とし、上限内で再現率が最大になる閾値を選ぶ
- 上限内で必要な再現率に届かない場合は、閾値ではなく、カメラの位置・照明・モデルの追加学習など入力側を改善する
- 条件別（夜間、逆光、遮蔽）に再現率を測り、弱い条件を把握しておく
| 評価項目 | 測り方 | 判断の基準 |
|---|---|---|
| 再現率 | 危険事象（または演技による再現）のうち検知できた割合。条件別に測る | 用途ごとに目標を決める。条件別の最低値を確認 |
| 1シフトあたり誤報件数 | 一定期間の警報をすべて確認し、誤報を数える | 受け手が対応できる上限以下 |
| 警報への反応率 | 警報の後に、運転者が減速した、作業者が離れたなどの行動の割合 | 低下していれば警報の設計を見直す |
| 検知から警報までの時間 | 映像の取得から警報までの遅延 | 危険の発生から事故までの時間より十分短いこと |
段階警報で件数を抑える
すべての検知に同じ警報を出すのではなく、危険の度合いで段階を分けると、強い警報の件数を抑えられます。
- 段階1（記録のみ）：確信度が低い、または危険距離に余裕がある検知は、警報を出さずに記録する
- 段階2（表示・弱い通知）：注意を促す表示やランプ。運転者の視界に入る位置に出す
- 段階3（音・振動）：危険距離に近い、確信度が高い検知
- 段階4（設備の減速・停止）：設備側の安全装置と連携して止める。誤停止の影響を事前に評価する
段階1の記録は、ヒヤリハットのデータとして価値があります。警報を出さなかった検知も含めて場所・時間帯を集計すると、危険が集中する場所が見え、動線やルールの改善につなげられます。
現場の声を設計に入れる
誤報の上限や警報の段階は、安全担当者や情報システム部門だけで決めると、現場の実態と合わないことがあります。フォークリフトの運転者は運転中にどの位置の表示なら見られるか、騒音の大きい職場で音の警報は聞こえるか、手袋をしたまま振動通知に気づけるか、といった点は、実際に作業する人にしか分かりません。
試行の段階で、警報を受ける側の作業者に参加してもらい、1〜2週間ごとに「うるさすぎる警報」「気づかなかった警報」を聞き取ります。聞き取りの結果は、閾値や段階の調整に反映し、変更の履歴を残しておきます。現場の意見で設計が変わることが見えると、警報への信頼が高まり、反応率の維持にもつながります。
もう1つ大切なのは、警報が鳴ったときの正しい行動を決めて教育することです。「警報が鳴ったら止まる」「歩行者側が通路の端に寄る」など、行動が決まっていない警報は、鳴っても何も変わりません。
安全AIでの「異常検知」の考え方
安全AIの閾値設計は、設備の異常検知と同じ構造を持っています。どちらも、正常が圧倒的に多く、異常はまれで、誤報が多いと運用が崩れます。設備の異常検知での誤報の扱いは異常検知の誤報を減らすで扱っていて、1日あたりの誤報件数で管理する、イベント単位で数える、といった考え方はそのまま使えます。
違いは、安全では見逃しが人命に関わることです。そのため、AIの検知だけに頼らず、ライトカーテンやインターロックなど規格に基づく安全装置を維持し、AIはそれでカバーしにくい範囲を補う層に位置づけます。
安全AI全体の用途と設計は工場の安全AIを参照してください。
よくある質問
安全AIでは誤報は多少多くてもよいのではありませんか
多すぎると警報が無視され、本物の危険でも反応されなくなります。見逃しを減らすことと、警報に反応してもらうことの両方が必要で、誤報件数には上限を設けるべきです。
誤報の上限はどう決めますか
警報を受ける人に、1シフトあたり何件まで対応できるかを聞いて決めます。割合ではなく件数で決めるのがポイントです。
誤報を減らすには閾値を上げるしかありませんか
閾値を上げると見逃しが増えます。先にカメラの位置・照明・モデルの追加学習など入力側を改善し、警報を段階に分けて強い警報の件数を抑える方法を検討してください。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
