まず「検索が悪いのか、生成が悪いのか」を切り分ける
RAGの誤答を直すとき、最初にやるべきことは原因の切り分けです。誤答した質問について、検索で取得された文書の断片（チャンク）を表示させ、正解が含まれているかを確認します。
- 正解のチャンクが取得されていない：分割・メタデータ・検索方式の問題（この記事の項目1〜5）
- 正解のチャンクは取得されているのに誤答：LLMへの指示（プロンプト）や、渡すチャンクの数・順番の問題
- 正解がそもそも文書にない：対象文書の不足。RAGでは直せない
製造業の文書では、1つ目が大半を占めます。症状と見直す項目の対応は次のとおりです。
| 症状 | 疑う項目 |
|---|---|
| 表の数値を聞くと違う行の値を答える | 2. 表の扱い |
| 手順の途中までしか答えない | 1. 分割単位 |
| 旧版の内容を答える | 4. 版管理 |
| 別品番・別設備の内容が混ざる | 3. メタデータ |
| 品番や型式で聞くと見つからない | 5. 検索方式 |
| 直したはずが別の質問で悪化した | 6. 評価 |
文書の分け方を直す（項目1・2）
症状の多くは、文書を切る段階で生まれています。分割の単位と表の扱いを先に見直します。
項目1：分割単位を文書の構造に合わせる
固定の文字数（例えば500字ごと）で切ると、手順書の手順や規格の条項が途中で分断されます。製造業の文書は構造がはっきりしているため、その構造で切ります。
- 作業手順書：作業要素（1つの手順）ごと。手順番号と見出しをチャンクの先頭に付ける
- 設備マニュアル：節ごと。長い節は小見出しで分け、上位の章名を各チャンクに付ける
- 不具合報告：1件ごと。現象・原因・対策を1つのチャンクにまとめる
- 規格・社内基準：条項ごと。条項番号と表題を付ける
分割した各チャンクに、上位の見出し（文書名、章、節）を付けておくと、「どの文書のどの部分か」がLLMにも利用者にも伝わります。
項目2：表は行単位で文章化するか、表のまま渡す
製造業の文書で最も壊れやすいのが表です。トルク表、材料規格表、検査基準表をテキスト抽出すると、行と列の対応が失われ、「M8のトルクは」に対してM10の行の値を答えることがあります。
対策は2つあります。1つは、表の各行を「ボルト径M8、強度区分8.8の締付トルクは○N·m」のような文章に変換してチャンクにする方法、もう1つは表全体を1チャンクとしてMarkdownなどの表形式のまま渡す方法です。行数が多い表は前者、数行の表は後者が扱いやすくなります。
検索の範囲を直す（項目3〜5）
分割が正しくても、検索の範囲が広すぎると別品番や旧版のチャンクが混ざります。メタデータ・版管理・記号の検索の3つで範囲を正しく絞ります。
項目3：メタデータで「どの範囲の文書か」を持たせる
チャンクには、本文とは別に、検索の絞込みに使うメタデータを付けます。
品番や工程コードは、文書の表記ではなく、MESや生産管理システムのマスタと同じ体系で付けます。文書には「A系列」とだけ書かれていても、マスタで系列に含まれる品番を展開して付けておけば、品番での絞込みが効きます。
項目4：版管理を索引に反映させる
旧版の文書が索引に残っていると、意味がほぼ同じ旧版のチャンクが新版と並んで取得されます。改訂番号と有効期間をメタデータに持たせ、検索時に「現時点で有効な版」だけに絞ります。文書管理システムやPLMで改訂が承認されたら、索引を自動で更新する仕組みにしてください。手作業の更新は、いずれ漏れます。
項目5：記号はキーワード検索で拾う
品番、型式、不良コード、規格番号のような記号は、意味検索では似た記号と区別されません。意味検索とキーワード検索を組み合わせるハイブリッド検索にし、記号が含まれる質問ではキーワード検索の結果を優先させます。
項目6：変更のたびに同じ評価セットで測り、順番に直す
分割単位やメタデータを変えると、ある質問は良くなり、別の質問は悪くなることがあります。現場と作った評価用の質問セット（30〜50問、正解の文書と箇所付き）を用意し、設定を変えるたびに全問を測ります。評価の手順は社内文書RAGの評価方法で詳しく示しています。
データ品質の問題はRAGに限らず、製造業のAI全般に共通します。IPA「DX動向2026」では、日本企業のデータ整備・管理・流通の課題として「人材の確保が難しい」51.2%、「データの標準化が難しい」36.8%が挙がっています。RAGの全体構成は製造業の社内文書RAG入門、製造データ全般の品質は製造データ品質の10の問題を参照してください。
よくある質問
チャンクの大きさは何文字くらいがよいですか？
文字数より、文書の構造単位で決めるほうが精度が安定します。結果として数百字から千数百字程度になることが多くなります。短すぎると文脈が失われ、長すぎると関係のない内容が混ざります。
メタデータを付ける作業を自動化できますか？
文書管理システムやPLMに属性として登録されている項目は自動で付けられます。本文から品番や工程を抽出する作業は生成AIで候補を出せますが、マスタとの照合と人の確認を入れてください。
埋め込みモデルを日本語に強いものに替えれば改善しますか？
改善することはありますが、版管理やメタデータの問題は解決しません。埋め込みモデルの比較は、評価セットを用意してから、他の項目を直した後に行うのが効率的です。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係：ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由：PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR：紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ：ユースケースから逆算する8ステップ
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
