可解釋性AI

Explainable AI（可解釋人工智能）的縮寫，讓 AI 系統的決策過程對人類透明、可理解的研究領域。

為何需要：

• 信任：用戶需理解 AI 為何這樣決定
• 調試：開發者需知道為何出錯
• 合規：GDPR 等法規要求解釋權
• 科學發現：從 AI 模型學習新知識
• 公平性：檢測偏見需理解決策依據

解釋類型：

• 局部解釋：為什麼這個具體預測？（LIME、SHAP）
• 全局解釋：模型整體如何工作？（特徵重要性）
• 反事實：改變什麼輸入會改變結果？
• 概念解釋：模型使用什麼高層概念？

深度學習的解釋方法：

• 注意力可視化：看模型關注輸入的哪部分
• 梯度分析：輸入對輸出的影響程度
• 激活最大化：什麼輸入最大化某神經元激活
• 概念激活向量（CAV）：高層概念在網絡中的表示
• 機制可解釋性：理解網絡的算法電路

與性能的矛盾：

• 通常：模型越複雜，性能越好，解釋性越差
• 權衡：線性模型易解釋但弱，深度網絡強但黑盒
• 研究方向：高性能且可解釋的模型

監管要求：

• 歐盟 AI 法案：高風險 AI 需可解釋
• 美國：金融、醫療領域的解釋要求
• 中國：算法推薦管理規定

這是「負責任 AI」的技術基礎—— 不可理解的強大 AI 難以信任和管理。