詳細解釋
ControlNet是給擴散模型增加條件控制的架構,讓圖像生成遵循特定結構(姿態、邊緣、深度等)。
原理:
- 凍結原模型:保持生成能力
- 可訓練副網絡:學習條件控制
- 零卷積初始化:訓練初期不改變原模型
- 端到端:一併訓練控制信號
控制類型:
- Canny/Lineart:邊緣線條
- OpenPose:人體姿態骨架
- Depth:深度圖
- Normal:表面法向
- Scribble:手繪草圖
- Segmentation:語義分割圖
- M-LSD:直線檢測
應用:
- 角色一致性:相同姿態換服裝
- 產品設計:草圖轉渲染圖
- 室內設計:布局圖轉渲染
- 動畫製作:姿態序列生成角色
使用:
- 與Stable Diffusion結合
- 安裝擴展或原生支援
- 調整控制強度
- 可組合多個ControlNet
是可控生成的關鍵技術,讓AI生成更實用。