詳細解釋
核技巧(Kernel Trick)是將數據隱式映射到高維特徵空間的計算方法,無需顯式計算映射,直接計算高維空間的內積,使線性不可分問題變得線性可分。
核心思想:
- 映射:x → φ(x)(高維空間)
- 直接計算:K(x,y) = φ(x)·φ(y)
- 無需知道φ,只定義K
常用核函數:
- 線性核:K(x,y) = x·y
- 多項式核:K(x,y) = (x·y + c)^d
- RBF/高斯核:K(x,y) = exp(-γ||x-y||²)
- Sigmoid核:K(x,y) = tanh(αx·y + c)
RBF核特性:
- 無限維映射
- 局部性:相似樣本影響大
- 通用:適用大多數問題
- 需調參γ
Mercer定理:
- 正定核的數學條件
- 保證優化問題凸
應用:
- SVM:主要應用
- PCA:核PCA
- 迴歸:核嶺迴歸
- 聚類:核K-Means
優勢:
- 避免高維計算
- 處理非線性
- 理論基礎紮實
核技巧是處理非線性問題的強大數學工具。