詳細解釋
Dagster 是開源的資料與 機器學習運維 編排平台,與 Apache Airflow (工作流調度) 的任務導向不同,以「資產」(資料表、模型檔、指標等)為一等公民:管線定義產出與消費的資產,排程與重跑皆可依資產依賴進行,並具備資料血緣與型別檢查。適合 機器學習 (ML) 管線:可追蹤特徵、模型與評估指標的上下游,在部署前於本地重現與除錯。
特點包括較友善的本地開發、CI 整合、與 Apache Airflow (工作流調度) 相比較少的運維負擔。與 Apache Airflow (工作流調度)、機器學習運維、Prefect (工作流編排) 同屬管線編排生態。