詳細解釋
數據策展（Data Curating）是精心選擇、組織和維護數據集的過程，確保數據質量、相關性和可用性，是高質量ML專案的基礎。
與數據清洗的區別：
- 資料預處理：技術處理（缺失值、格式轉換）
- 數據策展：策略性選擇和組織
- 策展強調：質量優於數量，相關性優於規模
策展活動：
- 來源評估：評估數據源的可靠性和偏見
- 質量篩選：移除低質量、錯誤或不相關數據
- 多樣性確保：覆蓋不同場景、人口統計、邊界案例
- 代表性檢查：確保數據代表目標分布
- 版本控制：跟蹤數據變更歷史
- 元數據管理：記錄數據來源、處理步驟、許可證
重要性：
- 模型性能：策展數據比隨機數據效果更好
- 減少偏見：主動識別和糾正數據偏見
- 法律合規：確保數據使用權限
- 長期價值：良好策展的數據資產可複用
策展原則：
- 質量 > 數量：少量高質量數據優於大量低質量
- 多樣性：避免同質化數據導致的偏見
- 透明度：記錄策展決策過程
- 持續性：數據策展是持續過程
工具：
- Label Studio (開源資料標註)：數據標註和策展
- Activeloop (AI 資料庫平台)、Hugging Face Datasets (資料集庫)：數據集管理
- 數據版本控制：DVC
- 數據血緣：追踪數據來源和轉換
- 數據策展變得更加重要
- 合成數據（合成數據）的策展
- 網頁數據的精心過濾
- 專業領域數據的收集
數據策展是ML專案成功的關鍵投資。