3つの違いを一言で
| 種類 | 一言でいうと | 得意なデータ | 主な使い方 |
|---|---|---|---|
| データウェアハウス(DWH) | 整理済みの表を高速に集計する倉庫 | 構造化データ(実績、品質集計、原価、在庫) | KPIの集計、定型レポート、BI |
| データレイク | 何でもそのまま置ける湖 | 構造化・半構造・非構造(時系列、画像、波形、ログ) | 生データの長期保存、探索的な分析 |
| レイクハウス | 湖の上に倉庫の管理機能を載せたもの | 両方 | BIと機械学習を同じデータで行う |
DWHは、あらかじめ決めた構造(スキーマ)に合わせてデータを整えてから入れます。集計は速く正確ですが、構造に合わないデータ(画像や波形)は扱いにくく、構造の変更にも手間がかかります。
データレイクは、データを元の形式のまま安価に保存します。何でも入れられる反面、データの管理(どのデータが最新か、誰が更新したか、品質はどうか)が弱く、管理されないまま放置されると使えないデータの山になります。
レイクハウスは、Armbrustらの論文(CIDR 2021)で整理された構成で、データレイクと同じオープンな保存形式の上に、DWHの管理機能と機械学習への支援を組み合わせたものです。同論文は、データの鮮度・信頼性・TCO・ベンダーロックインといったDWHの課題に対処するものとしています。
工場データに当てはめる
工場で扱うデータを、どの種類の基盤に向くかで分けると次のようになります。
工場のAIで問題になるのは、品質予測や予知保全のように、構造化データ(MESのロット・品質判定)と非構造データ(時系列・波形・画像)を結合しなければならない用途が多いことです。DWHだけでは波形や画像を扱いにくく、データレイクだけでは結合のための管理が弱い。両方を同じ場所で扱えることが、レイクハウスが製造業のAIで選ばれやすい理由です。
選ぶための3つの基準
基準1:扱うデータの種類
構造化データの集計が中心なら、DWHで十分です。工場のKPI(OEE、不良率、生産実績)を日次・月次で集計し、経営や工場長が見るレポートを作る用途がこれに当たります。高頻度の時系列や画像を保存する必要があるなら、データレイクかレイクハウスが必要です。
基準2:使う人
DWHはBIツールを使う業務部門の担当者に向きます。データレイクは、データを自分で探索できるデータサイエンティストやエンジニア向きです。レイクハウスは両方の利用者を想定しています。工場で誰がデータを使うのかを先に決めると、基盤の選択が絞られます。
基準3:機械学習を前提にするか
AIの学習を繰り返し行う予定があるなら、レイクハウスを選ぶ価値があります。学習データの版管理(どの時点のデータで学習したか)、大量データの読み出し、画像や波形と表データの結合を、BIと同じ基盤で扱えるためです。機械学習の予定がなく、レポート用途だけなら、DWHの方が運用は簡単です。
| 状況 | 向いている選択 |
|---|---|
| KPIのレポートとBIが中心、AIは当面予定なし | DWH |
| 画像・波形を長期保存したい、分析はこれから | データレイク(管理の仕組みを早めに検討) |
| MESデータと時系列・画像を結合してAIを作る | レイクハウス |
| 既存のDWHがあり、AI用に非構造データを追加したい | 既存DWHを残し、レイクハウスを追加して連携 |
既存の基盤との付き合い方
多くの企業には、すでにERPのデータを集めたDWHや、ヒストリアンがあります。これらを置き換える必要はありません。DWHは経営・業務のレポートに使い続け、AI用の蓄積と特徴量づくりにレイクハウスを追加し、必要なデータを双方向に連携する構成が現実的です。ヒストリアンとの役割分担は時系列DBとヒストリアンの選び方で扱っています。
レイクハウスを選んだ場合でも、データを入れただけでは使えるようになりません。製造業では、生データにロット・品番・設備の文脈を付ける整備の層が価値を決めます。その設計は製造業のデータレイク・レイクハウス:3層の設計を参照してください。
よくある質問
データレイクはもう古いのですか?
古いわけではなく、レイクハウスはデータレイクの上に管理機能を加えた発展形です。生データを安価に保存する層としてのデータレイクは、レイクハウスの中でもブロンズ層として残ります。
DWHに画像を入れることはできませんか?
画像ファイル自体を入れるのは非効率ですが、画像の保存場所への参照と、撮影時刻・設備・ロット・判定結果などのメタデータをDWHに入れる方法はあります。ただし画像を使った再学習を繰り返すなら、レイクハウスの方が扱いやすくなります。
クラウドのサービスを選べば、どれも同じですか?
主要なクラウドのデータサービスは、DWH・レイク・レイクハウスのいずれの構成にも対応していることが多いですが、保存形式のオープンさ、他サービスとの接続、費用体系は異なります。データを特定の製品に閉じ込めないよう、保存形式がオープンかどうかを確認してください。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係:ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由:PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR:紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ:ユースケースから逆算する8ステップ
