詳細解釋
貝葉斯優化（Bayesian Optimization）是用於黑箱函數全局優化的高效方法，特別適合評估昂貴的場景（如超參數調優），用代理模型指導搜索。
核心組件：
- 代理模型：
- 高斯過程（GP）最常用
- 估計函數值和不確定性
- 採集函數：
- 指導下一個評估點
- 平衡探索與利用
- EI、UCB、POI等
過程：
- 隨機初始化幾個點
- 擬合代理模型
- 最大化採集函數找下一點
- 評估真實函數
- 更新模型，重複
採集函數：
- EI（期望改進）：預期提升多少
- UCB（上界置信）：μ + κσ
- PI（改進概率）：改進的概率
優勢：
- 樣本高效：比網格/隨機搜索快
- 處理噪聲：不確定性建模
- 全局優化：避免局部最優
- 並行：支持批量評估
應用：
- 超參調優：機器學習必備
- 實驗設計：科學實驗
- A/B測試：參數優化
- 強化學習：策略搜索
工具：
- Optuna、Hyperopt、Ax
- scikit-optimize
- 各種專用庫
貝葉斯優化是昂貴黑箱函數優化的首選。