詳細解釋
內部機制不透明、僅能觀察輸入輸出的系統。深度學習模型(特別是大模型)常被稱為黑盒,因為其數十億參數的決策過程難以解釋。
黑盒問題:
- 不可解釋:為什麼做出這個預測?難以回答
- 難以調試:出錯時難定位原因
- 信任障礙:用戶和監管機構無法驗證安全性
- 偏見隱藏:訓練數據中的偏見在複雜網絡中難以發現
應對策略:
- 可解釋 AI(XAI):LIME、SHAP、注意力可視化
- 模型蒸餾:用大模型教小模型,小模型更易分析
- 對抗測試:紅隊測試發現意外行為
- 監控:生產環境持續追踪輸出異常
「黑盒」vs「玻璃盒」:
- 黑盒:神經網絡、集成模型
- 玻璃盒:線性回歸、決策樹、規則系統
監管視角:
- 歐盟 AI 法案要求高風險 AI 具有可解釋性
- GDPR 「解釋權」挑戰黑盒模型
- 某些行業(醫療、信貸)強制要求解釋
哲學爭議:
- 人類大腦也是黑盒,但社會接受人類決策
- 完美解釋 vs 足夠透明:後者可能已足夠實用
黑盒不等於「壞」,但要求額外的治理和驗證機制來管理風險。