2初級技術工具
Great Expectations (GX / 資料品質驗證)
Great Expectations (GX)
開源資料驗證框架,以「Expectation」宣告式規則檢查資料品質,常用於 機器學習運維 與 Apache Airflow (工作流調度) 管線。
詳細解釋
Great Expectations(GX)以 Expectation 定義資料應滿足的條件(如欄位型別、非空、取值範圍、分布),驗證後產出結果與可讀報告(Data Docs),並可整合 Checkpoint 在 Apache Airflow (工作流調度)、Dagster (資料與 ML 編排) 等管線中於擷取、轉換或推理前執行。在 機器學習運維 中用於入庫、特徵與生產資料的品質把關。與 Soda Core (資料品質) 同屬資料品質工具;與 機器學習運維、Apache Airflow (工作流調度)、Dagster (資料與 ML 編排) 相關。