止まる原因はモデルの外にある

本番で止まった製造業AIを振り返ると、モデルの精度不足が主因だった例は少数です。McKinseyが2018年に7市場・700社超を対象に行った調査では、デジタル製造の全社展開を阻む障壁として、人材69%、ROIの欠如61%、ビジョンの欠如59%、IT環境の不備44%超が挙がりました。アルゴリズムの性能は上位に入っていません。

Googleの研究者による論文「Hidden Technical Debt in Machine Learning Systems」(NeurIPS 2015)は、実際の機械学習システムで学習コードが占める部分はごく一部で、データ収集・特徴量抽出・設定・監視・提供基盤といった周辺のほうがはるかに大きいと指摘しています。PoCが検証するのは、この「ごく一部」だけです。

デジタル製造の展開障壁に「人材」を挙げた企業
69%
McKinsey(2018年7月、7市場・700社超)
デジタル製造を全社展開できた企業
約30%
McKinsey(2018年7月、同調査)
データサイエンティストの作業時間のうちデータ準備・クレンジングの割合
約38%
Anaconda(2022年、n=3,493)

7つの理由を「入口・出口・運用」に分ける

本番で止まる理由は、データがAIに入るまで(入口)、AIの結果が業務に戻るまで(出口)、使い続けるための仕組み(運用)の3か所に分かれます。

設備とMESのデータがAIモデルに入り、結果がMESに戻る流れの中で、7つの理由が入口・出口・運用の位置に置かれている図 設備・PLC時系列・画像 MESロット・品番・判定 AIモデルPoCで検証した部分 MES・現場ホールド・指示 入口1 文脈がない2 手集めのデータ3 タグ・マスタ不統一 出口4 結果の戻し先がない5 ネットワークが通らない 運用6 品種・材料で精度低下7 見る人・直す人がいない
製造業AIが本番で止まる7つの理由の位置。モデル本体ではなく、入口・出口・運用に集中している。
#理由典型的な症状最初に確認すること
1データに文脈がない波形はあるが、どのロット・品番の波形か分からない時系列とMESの実績を結ぶキー(設備ID+時刻、ロットID)
2PoCのデータが手集めPoCは担当者がCSVを集めた。本番では自動で入らない本番と同じ経路(OPC UA・ヒストリアン・MES API)で検証したか
3タグ・マスタが不統一2ライン目でタグ名も不良コードも違い、作り直しになる命名規則とマスタの対応表があるか
4結果の戻し先がない判定はダッシュボードに出るが、誰も止めないホールド・再検査・作業指示へのつなぎ方
5ネットワークが通らない制御ネットワークからクラウドへの通信が承認されないゾーンとコンジット、DMZ経由の経路設計
6精度が時間で落ちる材料ロットや季節、治具交換の後に誤報が増えるドリフト監視と設備変更履歴の連携
7運用のオーナー不在ベンダーが去った後、閾値も再学習も誰も触れない監視・再学習・閾値変更の担当と権限

入口:文脈・経路・命名の3つが揃わない

もっとも多いのが理由1です。振動や電流の時系列は、それだけでは「何を作っているときの値か」が分かりません。品番が変われば正常な波形も変わり、材料ロットが変われば外観の見え方も変わります。その文脈を持っているのはMES(製造実行システム)で、作業指示・ロット・品番・工程・作業者・品質判定を記録しています。AIの精度が品番切替のたびに崩れる場合、モデルではなくこの紐付けを疑うべきです。詳しくはMESとAIの関係で扱っています。

理由2は、PoCでよく見落とされます。PoCでは担当者がヒストリアンからCSVを抜き、Excelで品質結果を突き合わせて学習データを作ります。本番ではこの作業を自動化しなければならず、ここで初めてヒストリアンの圧縮設定やMESのテーブル構造の問題が見つかります。

理由3は横展開で効いてきます。1ライン目で作った前処理は、そのラインのタグ名と不良コードに依存しています。2ライン目で命名が違えば、前処理とラベルの対応を作り直すことになり、「1ラインでは成功したが全社には広がらない」状態になります。

出口と運用:判定が業務を変えていない

理由4は、PoCの成果物がダッシュボードや報告書で終わる場合に起きます。外観検査AIが不良を検出しても、そのロットが自動でホールドされなければ、検査員は従来どおり目視を続けます。AIの判定をMESのホールド、再検査指示、アンドンに戻す設計についてはAIの推論結果をMESに書き戻すを参照してください。

理由5はIT/OTの境界の問題です。PoCは独立したPCで動かせても、本番では制御ネットワークのデータを上位に出す必要があり、情報システム部門のセキュリティ審査で止まることがあります。IEC 62443のゾーンとコンジットの考え方で、外向き一方向の経路を最初から設計しておくと承認が通りやすくなります。

理由6と7は時間が経ってから表面化します。材料ロット・季節・設備改造でデータの分布が変わると精度が落ちます。これを検知し、再学習の要否を判断し、閾値を変える担当と権限が決まっていなければ、現場は誤報の多いAIを無視するようになります。

PoCの段階で手を打つ順番

7つの理由のうち、入口と出口の4つ(理由1〜4)はPoCの計画段階で対処できます。

この4点が決まっていれば、PoC後に出てくる追加費用の大半を事前に見積もれます。逆に、これらが空欄のままPoCで精度だけを確認すると、本番設計の段階で費用と期間が膨らみ、計画が止まります。WEFが2020年に報告したように、インテリジェント工場の取り組みの74%がパイロット段階にとどまっていたのは、この構造が業種を問わず共通しているためだと考えられます。

よくある質問

モデルを高性能なものに替えれば本番で使えるようになりますか?

精度不足が原因であれば効果はありますが、本番で止まる原因の多くはデータの紐付け、結果の戻し先、運用体制です。まず誤判定の事例を品番・ロット・時刻で並べ、モデルの問題かデータ・運用の問題かを切り分けてください。

MESがない工場では本番化できませんか?

できます。ただしロット・品番・品質判定を時系列と紐付ける仕組みは別途必要です。生産指示書のQRコードを読む、品番を設備側で入力するなど、最小限の文脈を記録する方法から始めてください。

どの理由から手を付けるべきですか?

入口の「文脈」と出口の「戻し先」です。この2つはPoCの設計で決められ、後から変えると費用が大きくなります。運用面の体制は本番開始前までに決めれば間に合います。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この特集について

AIは「データ基盤」で決まる

PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本

  1. MESとAIの関係:ロット・作業指示・品質判定がAIの精度を決める理由
  2. 製造業のAI-OCR:紙の検査記録・点検表・ミルシートをデータ化する手順
  3. データ基盤の段階的導入ロードマップ:ユースケースから逆算する8ステップ
  4. 製造データ品質の10の問題:時刻ずれ・欠損・単位不統一をAI投入前に潰す方法
特集の記事をすべて見る →

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。