支持向量機

SVM

基於最大間隔的經典分類算法

詳細解釋

支持向量機(Support Vector Machine, SVM)是強大的監督學習算法,尋找最大化類別間隔的最優超平面,核技巧使其能處理非線性問題,在小樣本高維數據上表現優異。

核心概念:

  • 最大間隔:最大化決策邊界到最近樣本的距離
  • 支持向量:決定邊界的關鍵樣本
  • 對偶問題:轉換為優化問題
  • 核技巧:映射到高維空間

核函數:

  • 線性:原始特徵空間
  • 多項式:捕捉特徵交互
  • RBF(高斯):最常用,無限維映射
  • Sigmoid:類似神經網絡

優勢:

  • 高維數據:特徵數多於樣本時有效
  • 泛化強:結構風險最小化
  • 核方法:處理非線性
  • 理論基礎:統計學習理論

局限:

  • 大樣本:訓練複雜度高O(n²-3)
  • 多類別:需擴展策略
  • 機率:不直接輸出概率
  • 特徵縮放:需要標準化

應用:

  • 文本分類:高維稀疏
  • 生物信息:基因表達
  • 圖像:傳統特徵分類
  • 小樣本:樣本少特徵多

軟間隔:

  • 允許錯誤分類
  • C參數控制正則化

SVM是經典且強大的分類算法。

探索更多AI詞彙

查看所有分類,繼續學習AI知識