神經架構搜索

NAS (Neural Architecture Search)

自動搜尋最佳網絡架構

詳細解釋

NAS(Neural Architecture Search)是用AI自動搜尋神經網路架構,取代人工設計,尋找最佳模型結構。

搜尋空間:

  • 宏觀:整體結構(層數、連接)
  • 微觀:單層操作(卷積核、激活)
  • 混合:結合兩者

搜尋策略:

  • 基於強化學習:策略網路生成架構
  • 基於進化:變異、選擇、遺傳
  • 基於梯度:DARTS等可微搜尋
  • 基於貝葉斯優化:高效採樣

評估:

  • 從頭訓練:準確但慢
  • 權重共享:快速估計
  • 代理任務:小數據集預篩選
  • 預測器:預測架構性能

代表工作:

  • NASNet:開創性工作
  • EfficientNet:複合縮放
  • MobileNetV3:硬體感知NAS
  • Vision Transformer:也開始NAS優化

挑戰:

  • 計算成本:搜尋需大量資源
  • 搜尋空間設計:先驗知識仍重要
  • 可遷移性:搜尋結果跨任務適用性

是AutoML的核心組件,讓模型設計自動化。

探索更多AI詞彙

查看所有分類,繼續學習AI知識