基礎模型

基礎模型（Foundation Model）是斯坦福人機交互研究所提出的概念，指可泛化到多種下游任務的大型預訓練模型。

特徵：

• 規模大：數十億至數萬億參數
• 泛化強：單一模型處理多種任務
• 湧現能力：規模增大產生新能力
• 統一架構：通常基於Transformer架構 (變換器 / 注意力模型) (Switch Transformer)

與傳統ML的區別：

• 傳統：每個任務訓練專屬模型
• 基礎模型：一個模型適配多種任務
• 範式轉變：從「模型專屬」到「模型通用」

能力範圍：

• 語言：理解、生成、翻譯、摘要
• 推理：邏輯、數學、程式
• 知識：事實問答、常識推理
• 多模態：圖文理解、跨模態生成

社會影響：

• 同質化：基礎模型趨同
• 偏見放大：訓練數據偏見傳播
• 能力突現：難以預測的新能力
• 集中化：訓練門檻高導致集中

是當前AI發展的核心範式。