注意力即一切

《Attention Is All You Need》是Google 2017年發表的Transformer論文，標題本身成為了術語，代表注意力機制的革命。

論文貢獻：

• 提出Transformer架構
• 證明無需RNN/CNN，僅注意力就足夠
• 機器翻譯SOTA效果
• 訓練更快，並行化更好

核心組件：

• Multi-Head Attention
• Position-wise FFN
• Positional Encoding
• Residual Connections

影響力：

• 徹底改變NLP領域
• 啟發BERT、GPT系列
• 擴展到視覺（ViT）、語音、多模態
• 大語言模型時代奠基

標題含義：

• 挑戰傳統觀念：不需要遞歸/卷積
• 簡潔至上：統一架構
• 革命性宣言

引用數：

• Google學術引用超10萬
• 最具影響力的AI論文之一

歷史地位：

• 深度學習三大里程碑之一
• 與ResNet、GAN並列
• 影響深遠，至今仍是標準

是Transformer架構 (變換器 / 注意力模型) (Switch Transformer)的誕生標誌。