強化学習は「割付ルールそのもの」を学習する
従来のディスパッチングルール（納期が早い順、処理時間が短い順など）は、人が設計した優先ルールで次に処理するジョブを選びます。深層強化学習（DRL）によるスケジューリングは、このルールそのものをデータから学習します。工場の状態を入力し、次にどのジョブをどの設備に割り付けるかを出力する方策（ポリシー）を、シミュレーションを繰り返して改善します。
工場の状態は、ジョブ・工程・設備の関係をグラフとして表すのが一般的で、そこでGNN（グラフ構造のデータを扱うニューラルネット）が使われます。
研究の到達点
2020年のNeurIPSで発表されたL2D（Learning to Dispatch、Zhangら、arXiv 2010.12367）は、この分野の起点の一つです。ジョブショップ問題の選言グラフ（工程の順序関係と設備の競合を表すグラフ）をGINというGNNで埋め込み、方策勾配法で学習しました。既存の優先ディスパッチングルールを上回り、学習時より大きい問題にも汎化したと報告されています。
その後の研究を整理したサーベイ（Smitら、arXiv 2406.14096、2024年6月）の要点は次のとおりです。
| 観点 | サーベイの整理 |
|---|---|
| 静的な問題での解の質 | 学習済みの構築型方策（貪欲推論）の最適性ギャップは約6〜20%で、トップのヒューリスティクスやメタヒューリスティクスにはまだ及ばない |
| 大規模問題 | 100ジョブ×20設備のような大規模インスタンスで、1時間制限のCP-SATを上回る学習方策もある |
| 比較の条件 | 論文によってベンチマーク条件がばらばらで、横並びの比較が難しい |
| 残る課題 | 順序依存の段取り、設備の可用時間、多目的最適化、処理時間の確率的な変動、方策の説明性 |
つまり、中規模の静的な問題では最適化ソルバーのほうが良い解を出し、大規模な問題でようやく強化学習が対抗できるようになってきた段階です。比較対象として、最適化ソルバーの代表であるCP-SATの性能はOR-Tools CP-SATで解ける規模と解けない規模の境目で扱っています。
実務で検討してよい3条件
- 最適化ソルバーでは計画に許される時間内に解けない規模であること。問題の分割を試しても解けない場合に限る
- 突発停止や特急オーダーで、秒〜分単位の再計画が頻繁に必要であること。学習済み方策は推論が速いため、この場面で利点が出る
- 方策を学習させるための工場シミュレータ（実際の設備・段取り・ばらつきを再現できるもの）があること。強化学習は試行錯誤で学ぶため、実ラインで直接学習はできない
3つ目は見落とされがちですが、最も重い条件です。シミュレータの精度が低いと、シミュレータ上では良い方策が実際の工場では機能しません。シミュレータを作るには、MESの実績から工程時間のばらつき、設備の停止の頻度、段取り時間の実績を集める必要があります。
シミュレータに必要なMESデータ
強化学習の方策を学習させるシミュレータには、工場の実際の振る舞いを再現するデータが必要です。多くはMESに記録されています。
| シミュレータで再現するもの | 必要なデータ | 主な所在 |
|---|---|---|
| 工程時間のばらつき | 品目×工程×設備ごとの実績時間の分布 | MES（作業実績） |
| 設備の突発停止 | 停止の頻度・継続時間・理由 | MES・設備監視 |
| 段取り時間 | 前後品目の組み合わせごとの段取り実績 | MES |
| 不良・手直し | 工程ごとの不良率と手直しの流れ | MES・品質システム |
| 特急オーダーの発生 | 割込み受注の頻度と納期 | ERP |
これらのデータが品目・工程・設備の単位で揃っていない工場では、シミュレータの作成自体が大きなプロジェクトになります。逆に言えば、MESの実績データが揃っている工場ほど、強化学習を含む高度な計画手法を試す土台があると言えます。どのデータがMESで取れるかはAI学習に使えるMESデータ一覧で整理しています。
導入するなら最適化やルールとの組み合わせで
強化学習を単独で使うより、次のような組み合わせが現実的です。
- 日次の計画は最適化ソルバーで作り、日中の突発的な再計画だけ強化学習の方策で行う
- 強化学習で初期解を作り、時間があれば最適化ソルバーで改善する
- 既存のディスパッチングルールの選択（どのルールをいつ使うか）だけを学習させる
説明性の問題もあります。学習した方策がなぜその順序を選んだかは説明しにくく、計画担当者が納得しないと使われません。計画が現場で使われない問題は熟練計画者の暗黙ルールをモデル化するで扱います。
よくある質問
強化学習なら制約の定式化は不要ですか？
不要にはなりません。シミュレータの中で制約を正しく再現する必要があり、守るべき制約を報酬や行動の制限として設計する必要があります。形が変わるだけで、制約を明確にする作業は残ります。
学習済みの方策は設備が増えても使えますか？
L2Dなどの研究では、学習時より大きい問題への汎化が報告されていますが、設備の種類や制約が変わると再学習が必要になることが多いです。設備変更の頻度と再学習のコストを見積もってください。
この記事に出てくる用語
この記事を書いた人
DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。
