M5は何を競ったのか

Mコンペは、予測研究者のSpyros Makridakisらが1982年から続ける予測手法の国際競技です。2020年のM5では、米Walmartの店舗・商品別の日次販売データ42,840系列を使い、28日先までを予測しました。参加は101か国の5,507チーム、7,092人です(Makridakis、Spiliotis、Assimakopoulosの報告、2020年10月プレプリント)。

予測対象の系列数
42,840
M5 accuracy competition(Makridakis et al., 2020年)
参加チーム数(101か国・7,092人)
5,507
同上
優勝チームの最良ベンチマークに対する改善(WRMSSE)
22.4%
同上

評価指標は、累積売上金額で重み付けしたWRMSSEです。売上の大きい系列の誤差ほど重く数える設計で、事業へのインパクトを反映しています。

結果:機械学習が統計手法を初めて明確に上回った

報告によると、M5は純粋な機械学習手法がすべての統計ベンチマークを明確に上回った最初のMコンペとされます。主な結果は次のとおりです。

  • 上位のほとんどがLightGBM(勾配ブースティングの実装)を使った
  • 上位50手法はすべて、多数の系列を1つのモデルで学習するクロスラーニング(グローバルモデル)だった
  • 優勝チームは最良のベンチマークをWRMSSEで22.4%上回ったが、20%以上改善したのは上位5チームだけだった

最後の点は見落とされがちです。世界中の参加者が競っても、上位5チーム以外の改善幅は20%未満でした。社内のPoCで「AIで精度が50%改善」という報告が出たら、比較対象や評価条件を疑うのが妥当です。

なぜクロスラーニングが強いのか

ローカルモデルとクロスラーニング(グローバルモデル)の構成比較 ローカルモデル 品番A 品番B 品番C モデルA モデルB モデルC 短い系列は学ぶ材料が足りない クロスラーニング 品番A 品番B 品番C 共通モデル1つ 品番の属性を特徴量にし、パターンを共有
系列ごとのローカルモデルと、全系列を1つで学ぶクロスラーニングの違い。

従来の統計手法は、品番ごとに別々のモデルを作ります。履歴が短い品番や、ゼロの多い品番は学ぶ材料が足りず、精度が出にくくなります。クロスラーニングは、全品番のデータを1つのモデルに入れ、品番の属性(カテゴリ、価格帯、店舗など)を特徴量として与えます。似た品番の季節パターンや販促への反応を共有できるため、個々の系列が短くても学習できます。

LightGBMがこの方式に向くのは、数百万行規模の表形式データを高速に学習でき、カテゴリ変数や欠損値を扱いやすいためです。モデルが1つなので、品番が数万あっても保守の手間は品番数に比例して増えません。

製造業に当てはめるときの3つの注意

M5は小売の販売データで、製造業の需要とは性質が違います。当てはめるときは次の点に注意します。

  1. 系列数:M5の4万系列に対し、部品メーカーでは数百〜数千品番のことも多い。系列が少ないとクロスラーニングの利点は小さくなる
  2. 需要の構造:小売は個人の購買の集積で比較的なめらかだが、製造業の受注は少数の顧客の発注に左右され、内示情報の価値が大きい
  3. 階層:M5は店舗・州・カテゴリの階層を持っていた。製造業でも品番・製品群・顧客・拠点の階層を特徴量に使うと効果が出やすい

M5の上位手法で使われた特徴量を製造業の言葉に置き換えると、次のようになります。

M5で使われた情報製造業での対応物主な所在
過去の販売(ラグ・移動平均)過去の受注・出荷の実績ERP
価格・価格変更価格改定、値引き、為替ERP・営業
販促・イベント顧客の新モデル投入、展示会、キャンペーン営業
カレンダー(曜日・祝日・SNAP支給日)稼働日数、顧客の長期休暇、決算月生産管理
店舗・カテゴリの階層品番・製品群・顧客・拠点の階層ERP・PLM

M5にはない製造業特有の情報として、顧客からの内示(先行の発注予定)があります。内示は予測の精度を大きく左右することがあり、内示の版(いつ時点の内示か)を保存しておくことが重要です。

製造業で特に効くのは、品番マスタの属性(製品群、材質、顧客、ライフサイクル段階)を特徴量に入れることです。品番マスタが整っていないと、クロスラーニングの強みは発揮できません。手法全体の位置づけは製造業の需要予測AIとは、ツールの選び方は需要予測AIツールの比較を参照してください。

よくある質問

M5の結果は深層学習より勾配ブースティングが優れているという意味ですか?

M5の条件では、LightGBMが上位を占めたという事実です。深層学習が常に劣るという意味ではなく、データ量や系列の性質によって結果は変わります。

品番が数百しかない工場でもクロスラーニングは有効ですか?

有効な場合はありますが、利点は小さくなります。品番ごとの統計モデルと比べ、どちらがナイーブ予測を上回るかで判断してください。

この記事に出てくる用語

用語集(日・英・中)をすべて見る

この記事を書いた人

株式会社サオス

株式会社サオス 製造DX部

DELMIA Apriso を中核とした MES / 製造DX の導入・運用・人材育成と、製造業向けAIの調査・開発・教育を手がけるITコンサルティング企業。ISO 9001:2015 / ISO 27001:2022 認証取得。 日本・中国・米国で製造業のMES・データ基盤・AI導入を手がけた実務者が、欧米・中国の一次情報にあたって書いています。