詳細解釋
Meta 於 2024 年 7 月發布的 Llama 3 系列更新，主要是 405B 參數版本—— 目前最大的開源稠密模型，與 GPT-4 競爭。
關鍵數字：
- 405B 參數：8B、70B 的基礎上新增超大版本
- 128K 上下文：全系列支持長上下文
- 15T tokens：訓練數據量
- 16K H100 GPU：訓練硬件規模
性能定位：
- MMLU：約 85-88%，接近 GPT-4 早期版本
- 編碼：HumanEval 85%+，強於多數開源模型
- 多語言：比 Llama 2 大幅提升中文、印度語等
技術特點：
- 標準 Transformer：無 MoE，證明稠密模型仍有潛力
- 後訓練：大量 SFT 和 RLHF 數據
- 安全：Llama Guard 3 安全分類器配套
開放程度：
- 權重開源：可下載，可商用
- 許可限制：月活 >7 億需申請特殊許可
- 模型卡：詳細文檔，透明度標杆
部署需求：
- 405B：約 810GB FP16（需多 GPU，通常 8x H100）
- 量化：4-bit 可降至 200GB+，但仍需高端硬件
商業影響：
- 對閉源模型的壓力：免費、高性能替代
- 企業偏好：可私有化部署，合規友好
- 生態加速：微調版本（Wizard、Nous）迅速湧現
這是開源 AI 的里程碑—— 證明開源可以觸及最頂級性能，不再只是「預算有限者的選擇」。