詳細解釋
編碼器（Encoder）是序列到序列模型中將輸入序列轉換為內部表示（上下文向量）的部分，是Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的左半部分。
功能：
- 接收輸入序列（如句子）
- 逐層提取特徵和抽象
- 輸出每個位置的上下文表示
- 捕獲輸入的完整資訊
在Transformer中：
- 多層自注意力 + 前饋網絡
- 同時處理所有位置（並行）
- 輸出與輸入長度相同的向量序列
典型編碼器：
- BERT (雙向編碼器表示)：僅編碼器，用於理解任務
- Transformer架構 (變換器 / 注意力模型) (Switch Transformer)原始：編碼器-解碼器結構的左半
輸出用途：
- 直接分類：句子表示用於情感分析
- 特徵提取：下游任務的輸入
- 傳給解碼器：機器翻譯、摘要
與解碼器的區別：
- 編碼器：可見雙向上下文
- 解碼器：自回歸，僅見已生成部分