小型語言模型

SLM

Small Language Models,如Phi、Gemma

詳細解釋

小型語言模型(SLM, Small Language Model)是參數規模較小(通常<10B)但仍具備實用能力的語言模型,主打效率。

大型語言模型 (大語言模型 / 大模型)的對比:

  • 參數量:SLM < 10B,LLM > 10B至數百B
  • 速度:SLM推理快10-100倍
  • 成本:SLM可在消費級硬體運行
  • 能力:SLM任務特定,LLM通用

代表模型:

  • Microsoft Phi系列:2-4B,高品質小模型
  • Google Gemma:2-7B,開源輕量
  • Llama 3 8B:開源,性能強大
  • Qwen2.5:0.5-7B多規格

應用場景:

  • 邊緣設備:手機、IoT本地推理
  • 實時應用:需要<100ms響應的場景
  • 成本敏感:預算有限的項目
  • 特定任務:微調後的領域專家

能力範圍:

  • 簡單對話、問答
  • 文本分類、摘要
  • 基礎程式生成
  • 領域特定任務(微調後)

趨勢:

  • 小模型能力快速追趕
  • 通過知識蒸餾從大模型學習
  • 是AI民主化的重要方向

探索更多AI詞彙

查看所有分類,繼續學習AI知識