詳細解釋
IA3（Infused Adapter by Inhibiting and Amplifying Inner Activations）是輕量微調方法，學習縮放向量調整內部激活。
原理：
- 不修改權重，學習縮放向量
- 縮放Key和Value激活（抑制/放大）
- 類似LoRA但更輕量
與低秩適配 (LoRA)的比較：
- LoRA：學習低秩權重增量
- IA3：學習逐元素縮放
- 參數量：IA3通常更少
- 效果：任務相關，各有勝場
優勢：
- 極輕量：每層僅幾個縮放向量
- 效率高：訓練和推理都快
- 可組合：與其他方法結合
應用：
- 極端資源受限環境
- 大規模多任務適配
- 與LoRA、Prompt Tuning比較選擇
是高效參數微調工具箱中的一個選項，根據任務選擇最適方法。