詳細解釋
高效參數微調（PEFT, Parameter-Efficient Fine-Tuning）是只更新少量參數的微調方法總稱，讓大模型適應下游任務更高效。
主要方法：
- 低秩適配 (LoRA)：低秩適配，最流行
- QLoRA：量化LoRA，更省顯存
- Prefix Tuning：學習可訓練前綴
- Prompt Tuning：軟提示微調
- Adapter：插入小適配層
- IA3：學習縮放向量
優勢：
- 記憶體省：只需存少量可訓練參數
- 速度快：訓練參數少，收斂快
- 可切換：一個基礎模型+多個適配器
- 不損失預訓練：凍結原模型保持能力
適用場景：
- 消費級GPU微調大模型
- 多任務：為每個任務訓練適配器
- 持續學習：增量添加新能力
與全微調比較：
- 全微調：更新所有參數，效果好但貴
- PEFT：更新1-2%參數，效果接近但高效
工具：
- Hugging Face PEFT庫
- 支援多種方法統一接口
是平民化大模型微調的關鍵技術。