詳細解釋
LLaMA（Large Language Model Meta AI）是Meta開發並開源的基礎語言模型系列，為研究社區提供了強大的開放基礎模型，推動了開源大模型生態。
版本：
- LLaMA 1（2023）：
- 7B、13B、33B、65B參數
- 僅研究許可（非商業）
- 泄露：4chan泄露，引發社區創新
- LLaMA 2（2023）：
- 7B、13B、34B、70B
- 開源可商用
- Chat版本：對話優化
- Code LLaMA：代碼專版
- LLaMA 3（2024）：
- 8B、70B（400B訓練中）
- 顯著性能提升
- 多語言支持
技術特點：
- 架構：標準Transformer解碼器
- 改進：
- 更多訓練數據（LLaMA 3用15T token）
- 更長上下文
- 分組查詢注意力（GQA）
- 更大的詞表（128K）
影響：
- 開源生態：
- 催生Alpaca、Vicuna等微調版本
- 本地運行：llama.cpp、Ollama
- 模型融合：MergeKit
- 競爭：
- 挑戰閉源模型主導地位
- 企業可私有化部署
- 降低AI應用門檻
社區創新：
- 量化：GGUF格式本地運行
- 微調：LoRA、QLoRA低成本適配
- 多模態：LLaVA等視覺擴展
- 工具使用：Function calling支持
許可證：
- LLaMA 1：僅研究
- LLaMA 2/3：商業友好（但大企業需授權）
評價：
- 性能：接近閉源模型（LLaMA 3 70B ≈ GPT-3.5）
- 可用性：免費、可本地、可修改
- 安全性：社區負責安全對齊
LLaMA是開源大語言模型的旗艦。