Great Expectations (GX / 資料品質驗證)

Great Expectations (GX)

開源資料驗證框架,以「Expectation」宣告式規則檢查資料品質,常用於 機器學習運維Apache Airflow (工作流調度) 管線。

詳細解釋

Great Expectations(GX)以 Expectation 定義資料應滿足的條件(如欄位型別、非空、取值範圍、分布),驗證後產出結果與可讀報告(Data Docs),並可整合 Checkpoint 在 Apache Airflow (工作流調度)Dagster (資料與 ML 編排) 等管線中於擷取、轉換或推理前執行。在 機器學習運維 中用於入庫、特徵與生產資料的品質把關。與 Soda Core (資料品質) 同屬資料品質工具;與 機器學習運維Apache Airflow (工作流調度)Dagster (資料與 ML 編排) 相關。

探索更多AI詞彙

查看所有分類,繼續學習AI知識