詳細解釋
概念漂移（Concept Drift）指數據生成過程中條件分布P(Y|X)隨時間變化的現象，導致已部署模型的性能下降。
與協變量偏移的對比：
- 協變量偏移：P(X)改變，P(Y|X)不變
- 概念漂移：P(Y|X)改變（關係本身改變）
- 更難處理：需要重新學習新關係
漂移類型：
- 突然漂移：關係瞬間改變（如政策突變）
- 漸進漂移：關係緩慢變化（如用戶偏好演變）
- 週期性漂移：規律性季節變化
- 遞增漂移：新類別逐漸出現
常見原因：
- 用戶行為改變：偏好、習慣演變
- 環境變化：經濟、社會、技術因素
- 外部事件：疫情、政策、競爭對手行動
- 反饋循環：模型影響環境，環境又改變數據
- 敵對行為：垃圾郵件發送者適應過濾器
檢測方法：
- 性能監測：跟蹤模型在生產數據上的性能
- 統計檢驗：比較新舊數據的分布
- 漂移檢測器：DDM、EDDM、ADWIN等算法
- 異常檢測：檢測輸入或預測的異常模式
應對策略：
- 定期重訓練：用新數據定期更新模型
- 在線學習：持續適應新數據
- 集成方法：結合多個時期訓練的模型
- 漂移適應：專門設計適應漂移的算法
與機器學習運維的關係：
- 模型監控：持續跟蹤性能指標
- 觸發機制：性能下降時自動告警
- 再訓練管道：自動化模型更新流程
- A/B測試：驗證新模型效果
預防措施：
- 頻繁重訓：縮短模型更新週期
- 特徵穩定性：選擇穩定的基礎特徵
- 因果模型：學習更穩定的因果關係
概念漂移是生產環境ML系統的核心挑戰。