資料管線

資料管線（Data Pipeline）是自動化數據處理流程的系統，將數據從源頭提取、轉換並載入到目的地，確保數據的及時性和質量。

核心組件：

• 提取（Extract）：從多種數據源獲取數據
• 數據庫：SQL/NoSQL查詢
• API：RESTful、GraphQL
• 文件：CSV、JSON、Parquet、日誌文件
• 流：Kafka、事件串流 (Event Streaming)

• 轉換（Transform）：清洗和轉換數據
• 資料預處理：清洗、標準化
• 特徵工程：特徵創建
• 聚合：統計計算、窗口函數
• 模式轉換：數據格式統一

• 載入（Load）：將數據寫入目標系統
• 數據倉庫：Snowflake (雲端資料倉儲)、BigQuery (Google 雲端資料倉儲)
• 數據湖：S3、HDFS
• 數據庫：應用數據庫、分析數據庫

架構模式：

• ETL（Extract-Transform-Load）：傳統批處理
• ELT（Extract-Load-Transform）：現代雲數據倉庫
• 流處理：實時數據處理（Apache Kafka (事件串流平台)、Apache Flink (即時流處理)）
• Lambda架構：批處理+流處理混合

編排和監控：

• 工作流調度：Apache Airflow (工作流調度)、Prefect (工作流編排)、Dagster (資料與 ML 編排)
• 數據質量檢查：Great Expectations (GX / 資料品質驗證)、Soda Core (資料品質)
• 血緣追蹤：數據來源和轉換歷史
• 錯誤處理：重試機制、告警通知

現代資料管線：

• 聲明式：定義「什麼」而非「如何」
• 數據即代碼：版本控制、測試、CI/CD
• 實時性：從批處理向流處理轉變
• 自助服務：數據工程師和數據科學家協作

資料管線是現代數據驅動組織的基礎設施。