2初級訓練與優化
Xavier 初始化
Xavier Initialization
依層的輸入與輸出維度設定權重方差，使前向與反向時訊號方差維持穩定，常用於 神經網絡 (類神經網路) 與 He 初始化 (Kaiming 初始化) 對比。
詳細解釋
Xavier 初始化（Glorot）設權重從均勻或常態分佈採樣，方差為 2/(fan_in + fan_out)，使前向與反向傳播時激活與梯度的方差約略維持，避免梯度爆炸或消失。適用於 tanh、sigmoid；He 初始化 (Kaiming 初始化) 則針對 ReLU (線性整流單元) 調整。與 He 初始化 (Kaiming 初始化)、反向傳播 (倒傳遞)、神經網絡 (類神經網路) 相關。