レイクハウスとは何か
レイクハウスは、データレイクの低コストで柔軟な保存と、データウェアハウス(DWH)の管理機能を組み合わせたアーキテクチャです。Armbrustらによる論文(CIDR 2021)は、レイクハウスを「Parquetなどのオープンで直接アクセスできる形式の上に、DWHの管理機能と機械学習への一級のサポートを組み合わせたもの」と定義し、データの鮮度・信頼性・TCO・ベンダーロックインといったDWHの課題に対処するものと位置づけています。著者らは、ベンチマーク(TPC-DS)でクラウドDWHと同等の性能を報告しています。
製造業にとっての利点は、構造化されたMESやERPのデータと、時系列・画像・振動波形といった非構造・半構造のデータを、同じ場所で扱えることです。AIの学習には両方が必要で、それらを結合して特徴量を作る処理がレイクハウスの主な仕事になります。
McKinseyの2018年の調査では、工場の半数以上をカバーする全社的なデータレイクを持つ企業は20%にとどまっていました。
3層構成を製造業向けに具体化する
レイクハウスでは、データを加工の段階に応じてブロンズ(生データ)、シルバー(整備済み)、ゴールド(用途別)の3層に分ける設計(メダリオンアーキテクチャと呼ばれます)がよく使われます。製造業向けに具体化すると、次のようになります。
ブロンズ層:取得したままの生データ
設備・ヒストリアン・MES・ERPから取り込んだデータを、加工せずにそのまま保存します。取り込んだ時刻と取得元(システム名・タグ名・テーブル名)を付け、上書きせず追記だけにします。後の層で処理を誤っても、ここから作り直せるようにするためです。
シルバー層:整備と文脈付与
製造業のレイクハウスで最も重要なのがシルバー層です。ここで次の処理を行います。
| 処理 | 内容 | 例 |
|---|---|---|
| 名前と単位の統一 | タグ名を命名規則に沿った名前に変換し、単位を揃える | FIC1023.PV → line2.reactor1.feed_flow(L/min) |
| 時刻の補正 | タイムゾーンの統一、既知の時刻ずれの補正 | 設備ごとの時計のずれを補正 |
| 欠損・異常値の印 | 通信断や範囲外の値に品質フラグを付ける | 欠損区間を明示し、補間とは区別する |
| 文脈の付与 | 時系列にMESのロット・品番・作業指示・設備を紐付ける | 各時刻の値に「どのロットの加工中か」を付与 |
| マスタの統一 | 品番の改番、設備IDの変更を統一IDに対応付ける | 旧品番と新品番を同じ品目として扱う |
文脈の付与には、ISA-95の情報モデル(材料・設備・物理資産・人員)が役立ちます。時系列に「どの材料ロットを、どの設備で、誰が、どの工程で」という情報を付けておくと、ゴールド層の特徴量づくりが用途を問わず共通化できます。考え方はISA-95の4つの情報モデルでAI用データを設計するで扱っています。
ゴールド層:用途別の特徴量とKPI
AIやBIが直接使う形にデータを集約します。製造業では、集約の単位がロット・サイクル(ショット)・シリアルなどの生産単位になるのが特徴です。たとえば成形の品質予測なら「ショットごとの最大圧力・保圧時間・金型温度と、そのショットの良否」を1行にした表を作ります。OEEや不良率などのKPIもこの層で計算します。
複数のAIテーマで同じ特徴量を使う場合は、特徴量ストアとして共有する設計もあります(製造業の特徴量ストア)。
データ品質のルールを基盤側に実装する
シルバー層の処理には、データ品質のルールを組み込みます。値の範囲、欠損の割合、時刻の連続性、MESとの紐付けの成功率などをチェックし、ルールに違反したデータに印を付けるか、アラートを出します。これをAIの前処理のコードに個別に書くと、テーマごとに同じチェックが重複し、ルールもばらばらになります。基盤側で一度実装すれば、すべてのAIテーマが同じ品質のデータを使えます。製造データで多い品質問題は製造データ品質の10の問題で整理しています。
AIとの接続と、結果の戻し
ゴールド層の特徴量でモデルを学習し、本番の推論では同じ特徴量をリアルタイムに計算する必要があります。学習時と推論時で特徴量の計算方法がずれると、本番で精度が落ちる原因になります。特徴量の計算ロジックを1か所で管理し、学習と推論の両方で使う設計にしてください。
推論結果は、レイクハウスに記録するだけでなく、UNSやMESに戻して業務につなげます。全体の流れは、エッジ(OPC UA・MQTTで収集)→UNS(リアルタイム配信)→ヒストリアン・時系列DB→レイクハウス3層→特徴量→モデル→推論結果をUNS・MESへ、となります。結果の戻し方はAIの推論結果をMESに書き戻すを参照してください。
よくある質問
データレイクとレイクハウスの違いは何ですか?
データレイクは生データを安価に大量保存する場所で、データの管理(スキーマ、更新、品質)が弱い傾向があります。レイクハウスは同じ保存形式の上に、トランザクションやスキーマ管理などDWHの機能を加え、BIと機械学習の両方で使えるようにしたものです。違いの詳細はデータウェアハウス・データレイク・レイクハウスの違いで扱っています。
画像データもレイクハウスに入れるべきですか?
画像ファイル自体はオブジェクトストレージに保存し、レイクハウスにはファイルへの参照と、撮影時刻・設備・ロット・判定結果などのメタデータを入れる形が一般的です。メタデータがMESの文脈と紐付いていれば、学習データの抽出が容易になります。
オンプレミスでもレイクハウスは作れますか?
作れます。オープンな保存形式とオープンソースの処理エンジンを使えば、オンプレミスでも構成できます。ただし運用の負担は自社で担うことになるため、機密性の要件と運用体制を比べて、クラウドとの役割分担を決めてください。
この記事に出てくる用語
AIは「データ基盤」で決まる
PoCは成功したのに本番で止まる。原因の多くはモデルではなく、MESと設備データの側にある 全130本
- MESとAIの関係:ロット・作業指示・品質判定がAIの精度を決める理由
- 製造業AIが本番で止まる7つの理由:PoCは成功したのにラインに載らない構造
- 製造業のAI-OCR:紙の検査記録・点検表・ミルシートをデータ化する手順
- データ基盤の段階的導入ロードマップ:ユースケースから逆算する8ステップ
