詳細解釋
LoRA（Low-Rank Adaptation）是高效的微調方法，通過低秩矩陣近似權重更新，只訓練少量參數，適配大模型而無需全量微調。
原理：
- 凍結預訓練權重W
- 訓練低秩矩陣A、B
- 更新：W' = W + BA
- 秩r << d（隱藏維度）
優勢：
- 參數高效：只訓練1-10%參數
- 存儲小：每任務只存A、B矩陣
- 切換快：不同任務快速切換
- 無推理延遲：可合併權重
- 不損失預訓練知識
應用：
- LLM微調：7B、70B模型適配
- 多任務：為每任務訓練不同LoRA
- 持續學習：增量添加新任務
- 個性化：用戶級別適配
與全微調對比：
- LoRA：更快、更省、可切換
- 全微調：可能更高性能（數據充足時）
- 組合：先LoRA再考慮全微調
工具：
- Hugging Face：Peft庫
- 簡單整合：幾行代碼啟用
- 社區：大量開源LoRA模型
LoRA是大模型高效適配的標準方法。