訓練與優化

用於訓練模型的數據子集

用於最終評估的未參與訓練數據

預測正確的樣本比例

描述數據屬性的資料

為數據添加標籤的過程

以資料與損失函數透過 [[backpropagation]]、[[gradient-descent]] 等更新參數，使模型擬合目標的過程；含 [[distributed-training]]、[[mixed-precision-training]] 等。

以特徵的線性組合預測連續目標的 [[machine-learning]] 方法，常用最小二乘或 [[gradient-descent]] 求解。

用於調參與早停的數據子集

二分類常用的損失函數

類別分布不均的訓練數據

模型過於簡單無法捕捉數據規律

移除訓練集重複

實際正例中被正確預測的比例

預測與真實差絕對值的平均

將數據縮放至特定範圍的預處理

優化問題中要最大化或最小化的函數

分類任務的標準損失

輪流將數據分為訓練與驗證集的評估方法

由AI或模擬生成的訓練數據

訓練過程中損失趨於穩定的狀態

驗證集表現不再提升時停止訓練

資源被有效使用的比例，如 [[gpu]] 利用率（算力或記憶體使用率），用於 [[profiler]] 與 [[roofline-model]] 效能分析。

預測與真實值差平方的平均

每次梯度更新使用的樣本數量

將 [[gpu]] 記憶體不足的張量或狀態暫存到 CPU/磁碟，以換取更大模型或 batch，常用於 [[llm]] 訓練與 [[inference]]。

按時間排列的數據

從原始數據構造有意義特徵的過程

選取最有預測力的特徵子集

模型遍歷完整訓練集一次的單位

以 FP16/BF16 為主、FP32 為輔的 [[neural-network]] 訓練方式，搭配 loss scaling 以兼顧速度與數值穩定；與 [[mixed-precision]] 同義。

展示分類預測與真實標籤對應的表格

[[llm]] [[inference]] 優化：每步解碼後可替換已完成序列為新請求，提高 GPU 利用率與吞吐。

訓練前需人為設定的模型配置參數

衡量模型預測與真實值差異的指標

[[distributed-training]] 方式：每張 GPU 持有一份完整模型副本，各自處理不同資料分片，再同步梯度。

從大數據中發掘 patterns 的過程

訓練前清洗與轉換原始數據的步驟

數據從採集到模型輸入的處理流程

透過變換擴充訓練數據的方法

模型過度擬合訓練數據而喪失泛化能力

預測為正例中實際為正的比例

降低特徵維度保留關鍵資訊

高品質數據的篩選與清洗

將數據轉為零均值單位方差

模型依序接收樣本或資料流並即時更新參數的 [[machine-learning]] 設定，與批量訓練相對；常見於串流與即時系統。

梯度下降時每步更新參數的步長

動態調整學習率

訓練過程中調整學習率的方法

與多數數據顯著不同的樣本

L2正則化防止過擬合

依激活重要性保留部分權重、其餘壓成 4 bit 的 LLM 量化方法，與 GPTQ 並列常用

以 [[bert]] 等模型的 [[embedding]] 計算候選與參考文本語義相似度的自動評估指標，優於 BLEU/ROUGE。

依密度聚類的無監督演算法，不需預設簇數，可找出任意形狀簇並標記離群點。

模型對戰強弱排名

精確率與召回率的調和平均

32 位元單精度浮點數格式，為深度學習預設權重與計算精度，較 [[quantization]] 省記憶體但較慢。

針對生成式預訓練模型的訓練後量化方法，將權重壓至 4 bit 並以 Hessian 近似最小化誤差

加入 L1 懲罰的線性迴歸，係數可壓縮為 0，具特徵選擇效果；與 [[regularization]]、Ridge 同屬正則化方法。

Microsoft 的梯度提升決策樹框架，採 GOSS 與 EFB 加速，支援分散式與 [[gpu]]，常與 [[xgboost]]、[[random-forest]] 並列。

盲測大模型排行榜

依梯度平方的指數移動平均做 per-parameter 縮放的自適應 [[gradient-descent]] 優化器，為 [[adam]] 的前身之一。

對少數類在特徵空間中做 k 近鄰插值以合成新樣本，緩解類別不平衡的過採樣方法，常用於 [[machine-learning]] 分類。

依層的輸入與輸出維度設定權重方差，使前向與反向時訊號方差維持穩定，常用於 [[neural-network]] 與 [[he-initialization]] 對比。

樣本平均的分布隨樣本數增大趨近常態，不論母體分布為何，為統計推論與 [[machine-learning]] 評估的基礎。

訓練神經網絡時計算梯度的核心算法

用於降維的線性變換方法

損失曲面中曲率較小、參數微擾對損失影響小的區域，實務上常與較佳泛化相關。

泛指防止模型過擬合的約束技術

函數的整體最小值

對每層輸入正規化以穩定訓練的技術

將大模型知識轉移到小模型

讓分類器輸出的機率與真實發生頻率一致，使「預測 0.8」約對應 80% 實際為正。

模型複雜度與泛化能力的取捨

移除模型中冗餘參數以壓縮模型

利用歷史梯度的加速項

鄰域內的最小值

透過梯度逐步調整參數以最小化損失的優化方法

深層網絡梯度趨近於零

限制梯度大小防止爆炸

前向時只存部分激活為檢查點，反向時再重算其餘激活，以時間換取 [[backpropagation]] 記憶體，可訓練更大模型。

深層網絡梯度急劇增大

[[distributed-training]] 中節點間同步梯度或參數所耗時間與頻寬，為擴展時的主要瓶頸之一。

將模型權重降低精度以減少記憶體與加速推論

數據分布隨時間變化

將多個小算子（如 ReLU、BN、Conv）合併成單一 kernel，減少 [[gpu]] 記憶體存取與 kernel 啟動開銷，以加速 [[inference]] 與訓練。

將模型按層切分到多裝置，以微批次填滿管線、隱藏氣泡，為 [[model-parallel]] 的一種，常用於大 [[llm]]。

高維空間的數據稀疏問題

軟化硬標籤以減輕過擬合的技術

從專家示範（狀態－動作對）學習策略的 [[reinforcement-learning]] 範式，含行為克隆與 DAgger、IRL 等。

將單一模型切分到多張 [[gpu]] 或節點上，以單層或層內分割降低單機記憶體需求；常與 [[distributed-training]] 並用。

增大模型規模以提升表現

訓練初期漸進提高學習率的技巧

衡量不確定性或資訊量的指標

訓練時隨機丟棄神經元以減少過擬合

每批樣本更新參數的梯度下降變體

將機率視為長期頻率、參數視為固定未知的統計學派，以 p 值、信賴區間與假設檢定為主要工具。

移除冗餘權重

結合動量與自適應學習率的常用優化器

帶權重衰減的Adam優化器

針對不平衡資料的過採樣方法，依少數類樣本難度自適應生成合成樣本。

用於頻繁項集挖掘與關聯規則學習的經典無監督演算法，常見於購物籃分析。

分類模型排序能力的曲線下面積

評估機器翻譯質量的自動指標

對多數類重複隨機欠採樣產生多個平衡子集，再訓練集成分類器，用於不平衡分類。

數學推理評估基準

針對 [[relu]] 設計的權重初始化，方差為 √(2/n_in)，使深層網路前向與反向時激活與梯度方差穩定。

結合MSE與MAE的魯棒損失

程式碼生成評估基準

Lasso，促進稀疏解

Ridge，權重衰減

為 [[llm]] 設計的推論加速方法：以多頭解碼一次產出多個候選 token，再以驗證頭篩選，可減少 [[inference]] 步數。

綜合知識評估基準

對話能力評測

衡量語言模型預測不確定性的評估指標

以算力與記憶體頻寬為上限評估運算效能的分析模型，可判斷 [[gpu]] 或 kernel 是算力受限還是頻寬受限。

評估文本摘要質量的指標

以同一影像的不同 augmentation 為正樣本、其餘為負樣本的 [[contrastive-learning]] 框架，無需標籤即可學到視覺表徵；[[clip]] 前身之一。

對比學習的常見損失

參數的機率給定觀測

用機率模型高效搜尋超參數的方法

訓練與測試時輸入分布不一致

目標函數非凸的優化問題

在約束條件下優化目標

Post-Training Quantization

FP16與FP32混合訓練

Quantization Aware Training

給定算力下的最優配置

模型擬合數據的對數機率

訓練時即考慮後續蒸餾

某些方向上升、某些下降的臨界點

模型表現隨規模的規律

數據與參數的優化比例

衡量兩機率分布差異的指標

量化感知訓練與後訓練量化