詳細解釋
點積（Dot Product）是向量的內積運算，反映兩向量的相似性和長度資訊。
計算：a·b = Σaᵢbᵢ = |a||b|cos(θ)
與相似度的關係：
- 點積大：向量夾角小且/或長度長
- 點積小/負：夾角大或方向相反
- 歸一化後：等同餘弦相似度
應用場景：
- 注意力計算：Query·Key
- 相似度打分：快速比較
- 投影計算：向量在另一方向的投影
- 線性變換：矩陣乘法的基礎
在注意力中：
- 注意力機制 (注意力)的核心計算
- Q·K得到注意力權重
- 除以√dₖ縮放防softmax飽和
計算優勢：
- 現代GPU有專門優化
- 矩陣乘法高效實現
- 可用於大規模檢索
是深度學習中最頻繁的運算之一。