IP-Adapter

IP-Adapter（Image Prompt Adapter）是為擴散模型添加圖像提示能力的輕量級方法，實現以圖生圖的風格遷移。

核心特徵：

• 輕量級：僅訓練適配器模塊
• 解耦：圖像和文本特徵分離處理
• 可插拔：可加到任何預訓練模型
• 圖像提示：用參考圖指導生成

原理：

• 圖像編碼器：提取參考圖特徵
• 適配器模塊：將圖像特徵注入UNet
• 交叉注意力：圖像作為額外條件
• 保持原模型凍結

應用：

• 風格遷移：參考圖風格應用於新內容
• 角色一致性：用角色圖生成不同姿態
• 風格組合：多張參考圖風格融合
• 虛擬試穿：服裝圖應用於模特

與其他方法的比較：

• LoRA：需訓練，專用於特定風格
• IP-Adapter：無需訓練，即時使用
• 更靈活但控制力較LoRA弱

是圖生圖和風格控制的重要工具。