核函數技巧

Kernel Trick

在高維空間計算而不顯式映射

詳細解釋

核技巧(Kernel Trick)是將數據隱式映射到高維特徵空間的計算方法,無需顯式計算映射,直接計算高維空間的內積,使線性不可分問題變得線性可分。

核心思想:

  • 映射:x → φ(x)(高維空間)
  • 直接計算:K(x,y) = φ(x)·φ(y)
  • 無需知道φ,只定義K

常用核函數:

  • 線性核:K(x,y) = x·y
  • 多項式核:K(x,y) = (x·y + c)^d
  • RBF/高斯核:K(x,y) = exp(-γ||x-y||²)
  • Sigmoid核:K(x,y) = tanh(αx·y + c)

RBF核特性:

  • 無限維映射
  • 局部性:相似樣本影響大
  • 通用:適用大多數問題
  • 需調參γ

Mercer定理:

  • 正定核的數學條件
  • 保證優化問題凸

應用:

  • SVM:主要應用
  • PCA:核PCA
  • 迴歸:核嶺迴歸
  • 聚類:核K-Means

優勢:

  • 避免高維計算
  • 處理非線性
  • 理論基礎紮實

核技巧是處理非線性問題的強大數學工具。

探索更多AI詞彙

查看所有分類,繼續學習AI知識