BERT (雙向編碼器表示)

BERT（Bidirectional Encoder Representations from Transformers）是Google於2018年提出的大型語言模型 (大語言模型 / 大模型)，採用Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的編碼器架構，能同時理解上下文中的前後文資訊。

與GPT (生成式預訓練變換器)的區別：

• GPT：自左向右生成，適合文本生成
• BERT：雙向理解，適合文本理解任務

預訓練任務：

• Masked LM：預測被遮蓋的詞語
• Next Sentence Prediction：判斷句子關係

應用場景：

• 情感分析
• 問答系統
• 命名實體識別
• 文本分類

BERT的變種：

• RoBERTa：優化訓練策略
• ALBERT：減少參數量
• DistilBERT：輕量化版本

BERT是Hugging Face等平台上最常用的理解類模型基礎。