詳細解釋
Microsoft 研究院於 2024 年 2 月發表的極端量化模型，將 LLM 權重量化到僅 1.58 bit（三值：-1, 0, +1），同時保持與全精度模型相當的性能。
核心創新是「BitLinear」層：用 Sign(.) 函數將激活和權重量化為三值，乘法變為簡單的加法/減法（無需浮點運算單元）。這使得：
- 推理速度：在 ARM CPU 上比 llama.cpp 的 4-bit 量化快 2-3 倍
- 能耗：移動設備上功耗降低 70%+
- 存儲：3B 模型僅需 0.4GB，可輕鬆部署在手機上
實驗結果顯示，1.58-bit 的 BitNet b1.58 3B 在困惑度和下游任務上接近甚至超越 Llama 2 3B（FP16）。這挑戰了「高精度權重必要」的傳統認知。
局限在於訓練過程仍需 FP16（反向傳播無法三值化），且目前僅發布了技術報告和概念驗證，未發布可直接使用的開源權重。若落地，將大幅降低邊緣 AI 的部署門檻。