3中級

樂透券假說

Lottery Ticket Hypothesis

主張隨機初始化網路中存在子網路(「中獎券」),單獨訓練可達原網路表現,與 剪枝 與稀疏化相關。

詳細解釋

樂透券假說(Frankle & Carbone, 2018)指出:若在訓練早期將部分權重設為 0 並凍結,其餘子網路從頭訓練可恢復接近原網路的準確度,該子網路即「winning ticket」。支持 剪枝 與結構稀疏的理論基礎,後續有 Strong Lottery Ticket、迭代剪枝等延伸。與 剪枝反向傳播 (倒傳遞)神經網絡 (類神經網路) 相關。

探索更多AI詞彙

查看所有分類,繼續學習AI知識