黑盒

Black Box

決策過程不透明、難以解釋的模型

詳細解釋

內部機制不透明、僅能觀察輸入輸出的系統。深度學習模型(特別是大模型)常被稱為黑盒,因為其數十億參數的決策過程難以解釋。

黑盒問題:

  • 不可解釋:為什麼做出這個預測?難以回答
  • 難以調試:出錯時難定位原因
  • 信任障礙:用戶和監管機構無法驗證安全性
  • 偏見隱藏:訓練數據中的偏見在複雜網絡中難以發現

應對策略:

  • 可解釋 AI(XAI):LIME、SHAP、注意力可視化
  • 模型蒸餾:用大模型教小模型,小模型更易分析
  • 對抗測試:紅隊測試發現意外行為
  • 監控:生產環境持續追踪輸出異常

「黑盒」vs「玻璃盒」:

  • 黑盒:神經網絡、集成模型
  • 玻璃盒:線性回歸、決策樹、規則系統

監管視角:

  • 歐盟 AI 法案要求高風險 AI 具有可解釋性
  • GDPR 「解釋權」挑戰黑盒模型
  • 某些行業(醫療、信貸)強制要求解釋

哲學爭議:

  • 人類大腦也是黑盒,但社會接受人類決策
  • 完美解釋 vs 足夠透明:後者可能已足夠實用

黑盒不等於「壞」,但要求額外的治理和驗證機制來管理風險。

相關AI領域

探索更多AI詞彙

查看所有分類,繼續學習AI知識