Apache Airflow (工作流調度)

Apache Airflow

以 Python 定義、排程與監控工作流的開源平台,常用於資料與 ML 管線。

詳細解釋

Apache Airflow 是開源的工作流編排平台,採「工作流即程式碼」:以 Python 定義 DAG(有向無環圖),內含任務、依賴、排程與回調。排程器依設定的時間間隔解析 DAG、依賴順序執行任務;任務可執行任意程式(如 Spark、檔案傳輸、通知),並透過訊息佇列擴展多個 worker。

特點包括動態生成 DAG、內建與自訂算子、與 AWS/GCP/Azure 等整合、以及 Web UI 監控與日誌。適合批次型、有明確起迄且按排程執行的管線,廣泛用於 機器學習運維、ETL、資料品質與 機器學習 (ML) 訓練流程編排。與 Dagster (資料與 ML 編排)Kubeflow (K8s 上的 ML 工作流) 等同屬管線與編排類工具。

探索更多AI詞彙

查看所有分類,繼續學習AI知識