Dagster (資料與 ML 編排)

Dagster

以「資產」為核心的資料與 機器學習 (ML) 管線編排平台,強調資料血緣與本地開發體驗。

詳細解釋

Dagster 是開源的資料與 機器學習運維 編排平台,與 Apache Airflow (工作流調度) 的任務導向不同,以「資產」(資料表、模型檔、指標等)為一等公民:管線定義產出與消費的資產,排程與重跑皆可依資產依賴進行,並具備資料血緣與型別檢查。適合 機器學習 (ML) 管線:可追蹤特徵、模型與評估指標的上下游,在部署前於本地重現與除錯。

特點包括較友善的本地開發、CI 整合、與 Apache Airflow (工作流調度) 相比較少的運維負擔。與 Apache Airflow (工作流調度)機器學習運維Prefect (工作流編排) 同屬管線編排生態。

探索更多AI詞彙

查看所有分類,繼續學習AI知識