詳細解釋
偏差（Bias）是神經網絡中加到線性組合輸出的偏移量，允許激活函數左右移動，增強模型的表達能力。
數學表示：
- y = Wx + b
- b：偏差向量（每個輸出神經元一個）
- 作用：偏移激活函數
為何需要：
- 非零均值輸入：無偏差時輸出受限
- 表達能力：增加自由度
- 靈活性：不依賴輸入也能輸出非零
學習：
- 初始化：通常為0
- 更新：與權重一起通過梯度下降
- 學習率：通常與權重相同
與權重的區別：
- 權重：決定輸入的影響強度
- 偏差：決定激活閾值
- 兩者共同決定神經元行為
批量正規化中的偏差：
- BN層有兩個學習參數：
- γ（縮放）：類似權重
- β（偏移）：類似偏差
線性回歸視角：
- y = wx + b
- w：斜率
- b：截距
- 神經網絡是多維擴展
初始化：
- 默認：0
- 某些架構：小隨機值
- 批歸一化：γ=1, β=0
偏差是神經網絡的基本組成部分。