詳細解釋
ResNet(Residual Network)是微軟2015年提出的深層卷積網絡,通過殘差連接解決梯度消失,讓網絡可訓練數百層。
核心創新:殘差連接(Skip Connection)
- 傳統:學習H(x)(期望輸出)
- ResNet:學習F(x) = H(x) - x(殘差)
- 公式:輸出 = F(x) + x
- 允許網絡學習恒等映射,不會比淺層差
優勢:
- 解決退化問題:深層比淺層好
- 緩解梯度消失:跳躍連接保梯度流
- 可訓練極深網絡:ResNet-1000+
- 成為視覺任務標準骨幹
經典變體:
- ResNet-18/34/50/101/152
- ResNeXt:引入分組卷積
- Wide ResNet:更寬通道
- DenseNet:密集連接
應用:
- 圖像分類:ImageNet冠軍
- 目標檢測:Faster R-CNN骨幹
- 語義分割:特徵提取器
- 嵌入學習:特徵表示
現代地位:
- 被Vision Transformer挑戰但仍流行
- 輕量高效,工業界廣用
- 概念延續到Transformer設計
是深度學習 (深度神經網絡)發展的里程碑。