ControlNet

ControlNet

控制擴散模型生成的架構

詳細解釋

ControlNet是給擴散模型增加條件控制的架構,讓圖像生成遵循特定結構(姿態、邊緣、深度等)。

原理:

  • 凍結原模型:保持生成能力
  • 可訓練副網絡:學習條件控制
  • 零卷積初始化:訓練初期不改變原模型
  • 端到端:一併訓練控制信號

控制類型:

  • Canny/Lineart:邊緣線條
  • OpenPose:人體姿態骨架
  • Depth:深度圖
  • Normal:表面法向
  • Scribble:手繪草圖
  • Segmentation:語義分割圖
  • M-LSD:直線檢測

應用:

  • 角色一致性:相同姿態換服裝
  • 產品設計:草圖轉渲染圖
  • 室內設計:布局圖轉渲染
  • 動畫製作:姿態序列生成角色

使用:

  • Stable Diffusion結合
  • 安裝擴展或原生支援
  • 調整控制強度
  • 可組合多個ControlNet

是可控生成的關鍵技術,讓AI生成更實用。

探索更多AI詞彙

查看所有分類,繼續學習AI知識