詳細解釋
Logits是神經網絡最後一層輸出的未歸一化分數，經過Softmax轉換為機率分布。
數學關係：
- Logits：任意實數值
- Softmax：exp(logit) / sum(exp(logits))
- 機率：0-1之間，總和為1
為何重要：
- 中間表示：調整和轉換的基礎
- 溫度縮放：調整logits的離散程度
- 損失計算：交叉熵直接用logits
- 數值穩定：softmax內部減最大值
應用場景：
- 溫度採樣：logits / temperature
- Top-P/Top-K：在logits上篩選
- 重複懲罰：降低已出現詞的logits
- 對比解碼：比較有/無條件的logits
與Embedding的區別：
- Embedding：輸入表示
- Logits：輸出分數（詞表大小維度）
是理解語言模型輸出的關鍵概念。