可解釋性

可解釋性（Explainability）是理解AI模型如何做出決策的能力，是信任、調試、合規和改進模型的關鍵。

解釋類型：

• 全局解釋：整體模型行為
• 特徵重要性：哪些輸入影響最大
• 模型結構：架構設計的解釋

• 局部解釋：單個預測的原因
• 為何這個樣本分類為A？
• 哪些特徵值導致此決策？

解釋方法：

• 本質可解釋：
• 線性迴歸：係數直接表示影響
• 決策樹：決策路徑可視化
• 規則系統：顯式規則

• 事後解釋（對黑盒模型）：
• LIME：局部近似簡單模型
• SHAP：基於博弈論的特徵貢獻
• 積分梯度 (Integrated Gradients)：深度網絡梯度累積
• 注意力機制 (注意力)權重：Transformer的注意力可視化
• Grad-CAM (梯度加權類別活化圖)：卷積網絡的熱力圖

應用場景：

• 醫療AI：醫生需要理解决策依據
• 金融信貸：監管要求解釋拒貸原因
• 法律：算法決策的可質證性
• 調試：發現模型錯誤原因
• 科學發現：從模型學習新知識

與可解釋AI（XAI）的關係：

• XAI：可解釋性研究的領域總稱
• 可解釋性：模型的屬性
• 解釋技術：生成解釋的方法

挑戰：

• 準確性vs可解釋性：複雜模型通常更準確但更難解釋
• 解釋的忠實性：解釋是否真實反映模型行為
• 認知負荷：解釋的複雜度
• 多樣性：不同用戶需要不同類型解釋
• 對抗性解釋：解釋本身可能被操控

工具：

• SHAP：統一的特徵重要性
• LIME：局部模型無關解釋
• Captum：PyTorch解釋庫
• InterpretML：微軟可解釋ML工具包

可解釋性是負責任AI部署的必要組件。