詳細解釋
NAS(Neural Architecture Search)是用AI自動搜尋神經網路架構,取代人工設計,尋找最佳模型結構。
搜尋空間:
- 宏觀:整體結構(層數、連接)
- 微觀:單層操作(卷積核、激活)
- 混合:結合兩者
搜尋策略:
- 基於強化學習:策略網路生成架構
- 基於進化:變異、選擇、遺傳
- 基於梯度:DARTS等可微搜尋
- 基於貝葉斯優化:高效採樣
評估:
- 從頭訓練:準確但慢
- 權重共享:快速估計
- 代理任務:小數據集預篩選
- 預測器:預測架構性能
代表工作:
- NASNet:開創性工作
- EfficientNet:複合縮放
- MobileNetV3:硬體感知NAS
- Vision Transformer:也開始NAS優化
挑戰:
- 計算成本:搜尋需大量資源
- 搜尋空間設計:先驗知識仍重要
- 可遷移性:搜尋結果跨任務適用性
是AutoML的核心組件,讓模型設計自動化。