RAGは書かれていないことには答えられない

RAG(検索拡張生成)は、社内文書を検索し、見つかった文書を根拠に生成AIが回答する仕組みです。根拠が文書にあるため、生成AIの思い込みによる誤答(ハルシネーション)を抑えやすいのが利点です。しかし裏返せば、文書に書かれていないことには答えられません。

熟練者の知識の多くは、「この音がしたらベアリングを疑う」「梅雨時はこの条件を少し上げる」といった、手順書の行間にある判断です。保全記録には「ベアリング交換」とは書かれていても、なぜベアリングだと判断したかは書かれていません。この状態でRAGを作っても、手順書の検索が少し便利になるだけです。

対象業務の選定、事例ベースの聞き取り、判断の構造化、メタデータ付与、熟練者による検証の5手順 1 対象業務問い合わせが集中する業務 2 聞き取り過去の事例を起点に質問 3 構造化症状→確認→判断→処置 4 メタデータ設備ID・品番・版数 5 検証熟練者が回答を採点 人が行う(工数の大半) RAG化と評価
暗黙知をRAGで使える形にする5つの手順。AIを使うのは最後の段階。

手順1・2:対象を絞り、事例を起点に聞き取る

手順1:対象業務を絞る

暗黙知の聞き取りは工数がかかるため、対象を絞ります。選ぶ基準は、熟練者への問い合わせが集中している業務、トラブル時の判断に時間がかかっている業務、退職が近い熟練者が1人で担っている業務の3つです。「設備保全全般」ではなく「成形機の型温異常の切り分け」程度まで具体化すると、聞き取りの範囲が決まります。

手順2:過去の事例を起点に聞き取る

「あなたのノウハウを教えてください」と聞いても、熟練者は答えにくいものです。本人にとっては当たり前のことだからです。代わりに、過去のトラブル記録や不良報告を1件ずつ見せて、「このとき最初に何を見ましたか」「なぜそこを疑ったのですか」「他の可能性はどう消しましたか」と聞きます。具体的な事例を起点にすると、判断の理由が言葉になりやすくなります。

聞き取りは録音し、文字起こしには生成AIを使えます。ただし文字起こしをそのまま文書にするのではなく、次の手順で構造を与えます。

手順3:判断の流れを構造化する

聞き取った内容を、「症状 → 確認すること → 判断 → 処置」の形に整理します。1件の事例を1つの文書にし、次の項目を揃えます。

項目記載例
症状成形品にショートショットが散発
確認すること型温の実測値、ヒーターの電流値、材料の乾燥時間
判断の根拠型温が設定より5℃以上低い場合はヒーター断線を疑う
処置ヒーター交換、交換後の条件出し手順
例外・注意梅雨時は乾燥不足でも同じ症状が出る

この形にしておくと、RAGの検索で症状から該当事例を引き当てやすくなり、回答にも根拠が付きます。複数の事例で同じ設備や部品が出てくる場合は、設備と症状と原因の関係をナレッジグラフにする方法もあります。日立はダイキン工業の工場で、設備図面や保全記録をナレッジグラフとして取り込んだ故障診断AIエージェントの試験運用を2025年4月に始め、対応時間の半減を目指すとしています(日立の発表)。

手順4:メタデータを付けて版を管理する

文書には、設備ID、品番、工程、作成日、版数、確認者をメタデータとして付けます。RAGで最も多い誤答の原因の1つは、古い版のマニュアルや廃止した手順を参照することです。設備改造や手順変更があったら、該当文書の版を上げ、旧版を検索対象から外す運用にします。

設備IDや品番はMESや設備台帳のマスタと同じコードにしておくと、後で保全記録や品質記録と結び付けられます。文書の分け方とメタデータの設計はRAGのチャンク分割とメタデータ設計で詳しく扱っています。

手順5:熟練者が回答を採点する

RAGを作ったら、熟練者に実際の質問を投げてもらい、回答を採点してもらいます。評価の観点は、回答が正しいか(専門家による採点)、根拠として示した文書が正しいか、文書にないことを作っていないか、回答までの時間がどれだけ短くなったか、の4つです。採点で間違いが見つかったら、多くの場合は文書側の不足が原因です。文書を直して再評価する、を繰り返します。

文書化した知識の置き場所と更新

構造化した事例文書は、RAG専用の場所にだけ置くのではなく、保全記録や品質記録と同じ管理の下に置くことをおすすめします。設備IDや品番で既存のシステムから参照できれば、RAGを使わない人にも役立ち、更新の担当者も明確になります。新しいトラブルが起きて処置が終わったら、同じ形式で事例を1件追加する運用にすると、聞き取りに頼らずに知識が増えていきます。

よくある質問

聞き取りを生成AIに任せることはできますか

質問の候補を作る、文字起こしを要約する、といった補助には使えます。ただし、熟練者の答えに対して「なぜそう判断したのか」を掘り下げる部分は、業務を理解した人が行うほうが確実です。

熟練者が協力してくれない場合はどうすればよいですか

ノウハウが個人の評価や立場に結び付いていると、共有のインセンティブが働きません。聞き取りへの協力を業務として位置づけ、時間を確保し、作った文書に作成者として名前を残すなどの工夫が必要です。

動画で残した技能もRAGに入れられますか

動画そのものは検索しにくいため、動画の要点を文書化し、動画へのリンクをメタデータに持たせる形が現実的です。回答と一緒に該当動画を示せば、文書だけでは伝わらない動きも補えます。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この特集について

製造業の生成AI、どこまで任せられるか

文書検索、手順書の生成、品質報告のドラフト。人が承認する範囲と任せてよい範囲の線引き 全91本

  1. 製造業の生成AI活用の全体像:業務別12ユースケースと導入の順番
  2. 製造業の社内文書RAG入門:手順書・図面・品質記録を検索する5層構成
  3. Siemens Industrial Copilotの全体像:5系統の提供状況と狙い
  4. 生成AIの情報漏えい対策:製造業が決めるべき入力禁止情報とログ管理の7項目
特集の記事をすべて見る →

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。