詳細解釋
小型語言模型(SLM, Small Language Model)是參數規模較小(通常<10B)但仍具備實用能力的語言模型,主打效率。
與大型語言模型 (大語言模型 / 大模型)的對比:
- 參數量:SLM < 10B,LLM > 10B至數百B
- 速度:SLM推理快10-100倍
- 成本:SLM可在消費級硬體運行
- 能力:SLM任務特定,LLM通用
代表模型:
- Microsoft Phi系列:2-4B,高品質小模型
- Google Gemma:2-7B,開源輕量
- Llama 3 8B:開源,性能強大
- Qwen2.5:0.5-7B多規格
應用場景:
- 邊緣設備:手機、IoT本地推理
- 實時應用:需要<100ms響應的場景
- 成本敏感:預算有限的項目
- 特定任務:微調後的領域專家
能力範圍:
- 簡單對話、問答
- 文本分類、摘要
- 基礎程式生成
- 領域特定任務(微調後)
趨勢:
- 小模型能力快速追趕
- 通過知識蒸餾從大模型學習
- 是AI民主化的重要方向