殘差網絡

ResNet

透過殘差連接訓練極深網絡的架構

詳細解釋

ResNet(Residual Network)是微軟2015年提出的深層卷積網絡,通過殘差連接解決梯度消失,讓網絡可訓練數百層。

核心創新:殘差連接(Skip Connection)

  • 傳統:學習H(x)(期望輸出)
  • ResNet:學習F(x) = H(x) - x(殘差)
  • 公式:輸出 = F(x) + x
  • 允許網絡學習恒等映射,不會比淺層差

優勢:

  • 解決退化問題:深層比淺層好
  • 緩解梯度消失:跳躍連接保梯度流
  • 可訓練極深網絡:ResNet-1000+
  • 成為視覺任務標準骨幹

經典變體:

  • ResNet-18/34/50/101/152
  • ResNeXt:引入分組卷積
  • Wide ResNet:更寬通道
  • DenseNet:密集連接

應用:

  • 圖像分類:ImageNet冠軍
  • 目標檢測:Faster R-CNN骨幹
  • 語義分割:特徵提取器
  • 嵌入學習:特徵表示

現代地位:

  • 被Vision Transformer挑戰但仍流行
  • 輕量高效,工業界廣用
  • 概念延續到Transformer設計

深度學習 (深度神經網絡)發展的里程碑。

探索更多AI詞彙

查看所有分類,繼續學習AI知識