詳細解釋
支持向量機(Support Vector Machine, SVM)是強大的監督學習算法,尋找最大化類別間隔的最優超平面,核技巧使其能處理非線性問題,在小樣本高維數據上表現優異。
核心概念:
- 最大間隔:最大化決策邊界到最近樣本的距離
- 支持向量:決定邊界的關鍵樣本
- 對偶問題:轉換為優化問題
- 核技巧:映射到高維空間
核函數:
- 線性:原始特徵空間
- 多項式:捕捉特徵交互
- RBF(高斯):最常用,無限維映射
- Sigmoid:類似神經網絡
優勢:
- 高維數據:特徵數多於樣本時有效
- 泛化強:結構風險最小化
- 核方法:處理非線性
- 理論基礎:統計學習理論
局限:
- 大樣本:訓練複雜度高O(n²-3)
- 多類別:需擴展策略
- 機率:不直接輸出概率
- 特徵縮放:需要標準化
應用:
- 文本分類:高維稀疏
- 生物信息:基因表達
- 圖像:傳統特徵分類
- 小樣本:樣本少特徵多
軟間隔:
- 允許錯誤分類
- C參數控制正則化
SVM是經典且強大的分類算法。