詳細解釋
Microsoft 於 2024 年 7 月發布的輕量級開源模型，屬於 Phi-3 系列的「mini」尺寸（3.8B 參數），但性能接近 Llama 3.1 8B 和 Mistral 7B。
「小模型大能力」的秘密：
- 訓練數據質量：使用「教科書級」合成數據（LLM 生成的教育質量文本），而非互聯網爬蟲垃圾
- 知識蒸餾：從更大的模型（可能是 GPT-4）提取知識
- 架構優化：在 3.8B 參數下最大化計算效率
技術規格：
- 上下文：128K（與 Llama 3.1 相同）
- 多語言：支持多種語言（但不如專用多語言模型）
- 許可：MIT（可商用，不像 Llama 的某些限制）
性能數據：
- MMLU：約 69%（Llama 3 8B 為 66%，Mistral 7B 為 62%）
- 推理速度：在 iPhone 上可運行（量化後），延遲可接受
使用場景：
- 邊緣設備：手機、IoT、嵌入式系統
- 低延遲應用：實時聊天機器人，無法等待雲端 API
- 成本敏感：自建比調用 GPT-4 便宜數量級
- 隱私優先：醫療、金融等敏感數據不出設備
與其他小模型對比：
- vs Gemma 2B/4B：Phi-3.5 性能顯著領先
- vs Llama 3.2 3B：競爭激烈，Phi 數據質量優勢，Llama 生態更廣
Microsoft 的策略：用高性能小模型佔領端側 AI 市場，與雲端 Azure OpenAI 形成互補。