詳細解釋
XGBoost（eXtreme Gradient Boosting）是優化的梯度提升庫，以高效、靈活和準確著稱，是數據科學競賽和工業應用的首選工具。
優化特點：
- 正則化：L1和L2權重衰減
- 並行：特徵分裂並行計算
- 缺失值處理：自動學習缺失方向
- 剪枝：深度優先的貪心生長
- 緩存感知：優化數據訪問
系統特性：
- 可擴展：處理數十億樣本
- 靈活：自定義損失函數
- 可移植：多種語言接口
- 分布式：支持集群
核心參數：
- n_estimators：樹的數量
- max_depth：樹深度（通常3-10）
- learning_rate：學習率（0.01-0.3）
- subsample：行採樣比例
- colsample_bytree：特徵採樣比例
- reg_alpha/reg_lambda：L1/L2正則化
與LightGBM對比：
- XGBoost：預排序算法，更準確
- LightGBM：直方圖算法，更快
- 兩者都是頂級選擇
應用：
- Kaggle：眾多競賽冠軍方案
- 工業：生產環境標準
- 科研：高引用工具
XGBoost是梯度提升算法的工業級實現。