3D高斯潑濺
3D Gaussian Splatting
高效的3D重建與渲染
一致性模型
Consistency Model
單步生成的擴散變體
人類回饋強化學習
RLHF
利用人類偏好數據訓練LLM的對齊方法
三元組損失
Triplet Loss
對比學習的常見損失
上下文壓縮
Contextual Compression
依查詢壓縮檢索結果
工具性收斂
Instrumental Convergence
AI追求子目標的傾向
元學習
Meta-learning
學習如何學習的更高層學習方法
內存運算
In-Memory Computing
在記憶體中計算
分組查詢注意力
GQA
Grouped-Query Attention，減少KV頭數
分散式訓練
Distributed Training
跨多機多卡訓練
分數匹配
Score Matching
學習分數函數的生成方法
文本反轉
Textual Inversion
訓練特定概念的嵌入
父子文檔檢索
Parent-Child Retrieval
檢索父子結構文檔
可微編程
Differentiable Programming
整個計算圖可求導的編程
平穩過程
Stationary Process
統計性質不隨時間變化的隨機過程
生成化學
Generative Chemistry
AI生成分子結構
生成對抗網絡 (GAN)
Generative Adversarial Network (GAN)
通過生成器與判別器對抗訓練來生成數據
交叉注意力
Cross-Attention
查詢來自不同序列的注意力
同態加密
Homomorphic Encryption
加密狀態下運算
向量資料庫
Vector Database
存儲和檢索高維向量嵌入的專用資料庫
因果遮罩
Causal Mask
防止注意力看到未來token的遮罩
在線策略學習
On-policy Learning
從當前策略產生的數據學習
多查詢注意力
MQA
Multi-Query Attention，共享單一KV頭
多實例GPU
MIG
Multi-Instance GPU，A100等分片
多樣本破解
Many-shot Jailbreaking
用大量範例繞過安全限制
好奇心驅動學習
Curiosity-driven Learning
以好奇心為內在獎勵
安全多方計算
SMPC
Secure Multi-party Computation
自回歸視覺模型
Auto-regressive Vision
以自回歸方式生成圖像
似然函數
Likelihood Function
參數的機率給定觀測
低秩適配 (LoRA)
LoRA (Low-Rank Adaptation)
高效微調大型模型只更新少量參數的技術
均方根歸一化
RMSNorm
Root Mean Square Layer Normalization
投機執行
Speculative Execution
推論加速技術
投機採樣
Speculative Decoding
用小模型預測、大模型驗證以加速生成
貝氏推論
Bayesian Inference
依貝葉斯定理更新後驗機率
貝葉斯網路
Bayesian Network
以圖表示變數間機率依賴的模型
貝葉斯優化
Bayesian Optimization
用機率模型高效搜尋超參數的方法
貝爾曼方程
Bellman Equation
動態規劃與RL的核心等式
協變量偏移
Covariate Shift
訓練與測試時輸入分布不一致
注意力即一切
Attention Is All You Need
提出Transformer的經典論文
狀態空間模型
SSM
State Space Models
近端策略優化
PPO
Proximal Policy Optimization
非凸優化
Non-convex Optimization
目標函數非凸的優化問題
非自回歸解碼
Non-autoregressive Decoding
可並行生成多token
前置緩存
Prefix Caching
緩存 prompt 前段的 KV
前綴微調
Prefix Tuning
學習可訓練前綴向量
思維圖
Graph of Thoughts
GoT，圖結構推理
思維樹
Tree of Thoughts
探索多種推理路徑的進階提示技巧
流匹配
Flow Matching
基於流的生成模型
流水線並行
Pipeline Parallelism
按層切分模型的並行
流形
Manifold
高維中的低維結構
流形假設
Manifold Hypothesis
高維數據實際分布在低維流形上
約束優化
Constraint Optimization
在約束條件下優化目標
音訊擴散
Audio Diffusion
將擴散模型用於音訊生成
差分隱私
Differential Privacy
數學上保護個別數據的隱私
時序差分學習
TD Learning
Temporal Difference，增量式價值估計
核函數技巧
Kernel Trick
在高維空間計算而不顯式映射
海森矩陣
Hessian Matrix
多變數函數的二階偏導矩陣
神經架構搜索
NAS (Neural Architecture Search)
自動搜尋最佳網絡架構
神經解碼
Neural Decoding
從神經活動解讀意圖
神經輻射場
NeRF
Neural Radiance Fields，3D場景表示
脈動陣列
Systolic Array
TPU核心的矩陣運算架構
訓練後量化
PTQ
Post-Training Quantization
逆強化學習
IRL
從專家行為推斷獎勵函數
逆運動學
IK
從末端推關節角度
馬可夫決策過程
MDP
Markov Decision Process，RL的數學框架
高效參數微調
PEFT
只更新少量參數的微調方法總稱
高頻寬記憶體
HBM
HBM3/HBM3e，GPU高速記憶體
張量並行
Tensor Parallelism
在張量維度上切分
從小到大檢索
Small-to-Large Retrieval
先檢小片段再擴大到更大範圍
旋轉位置嵌入
RoPE
Rotary Positional Embedding，旋轉式位置編碼
混合專家模型 (MoE)
Mixture of Experts (MoE)
只激活部分參數來處理輸入的大型模型架構
混合運算
Hybrid Computing
量子運算 + AI + 超算的結合
混合精度
Mixed Precision
FP16與FP32混合訓練
視覺里程計
Visual Odometry
由視覺估計運動
通用近似定理
Universal Approximation Theorem
神經網絡可近似任意連續函數
最大邊際相關性
MMR
Maximum Marginal Relevance，平衡相關與多樣性
欺騙性對齊
Deceptive Alignment
假裝對齊實則不然
無分類器引導
Classifier-free Guidance
無需分類器的條件引導
無標記模型
Token-free Models
直接處理位元組的模型
稀疏注意力
Sparse Attention
只關注部分位置的注意力
稀疏MoE
Sparse MoE
每次只用部分專家的MoE
策略梯度
Policy Gradient
直接優化策略的強化學習方法
超級對齊
Superalignment
對齊超人類AI
量子 AI
Quantum AI
量子運算與 AI 的結合
量化感知訓練
QAT
Quantization Aware Training
雅可比矩陣
Jacobian Matrix
多變數函數的一階偏導矩陣
滑窗注意力
Sliding Window Attention
限定局部窗口的注意力
解耦表示
Disentangled Representation
因子的獨立表示
路由
Routing
MoE中分配輸入給專家
運算最優
Compute Optimal
給定算力下的最優配置
圖神經網絡
GNN
處理圖結構數據的神經網絡
對比學習
Contrastive Learning
拉近相似樣本、推遠不相似樣本的學習
對抗性攻擊
Adversarial Attack
刻意製造使模型出錯的輸入
對抗魯棒性
Adversarial Robustness
抵禦對抗攻擊的能力
對數似然
Log-Likelihood
模型擬合數據的對數機率
演員-評論家
Actor-Critic
結合策略與價值函數的RL架構
蒸餾感知訓練
Distillation-aware Training
訓練時即考慮後續蒸餾
蒙地卡羅樹搜尋
MCTS
透過隨機模擬的樹搜尋方法
語言處理單元
LPU (Language Processing Unit)
專為 LLM 設計的專用晶片
價值漂移
Value Drift
模型價值觀隨時間偏離
數據投毒
Data Poisoning
在訓練數據中植入惡意樣本
數據並行
Data Parallelism
將不同批次分配到多GPU並行訓練
模型反演
Model Inversion
從模型推斷訓練數據
模型並行
Model Parallelism
將大模型切分到多裝置訓練
模型蒸餾
Model Distillation
用大模型知識訓練小模型的技術
模擬轉現實
Sim-to-Real
將模擬訓練遷移到現實
線性注意力
Linear Attention
計算複雜度線性的注意力
線性偏置注意力
ALiBi
Attention with Linear Biases，無需位置嵌入
適配器
Adapter
插入式任務適配模組
鞍點
Saddle Point
某些方向上升、某些下降的臨界點
憲法AI
Constitutional AI
以原則約束模型行為的對齊方法
機器去學習
Machine Unlearning
刪除模型中的特定記憶
隨機捨入
Stochastic Rounding
低精度訓練的捨入方式
環形注意力
Ring Attention
分散式長序列注意力
擴展定律
Scaling Laws
模型表現隨規模的規律
歸納偏好
Inductive Bias
演算法對某種解釋的偏好
離線策略學習
Off-policy Learning
從與當前策略不同的數據學習
類神經形態晶片
Neuromorphic Chip
模擬大腦的晶片
變分自編碼器 (VAE)
VAE (Variational Autoencoder)
結合生成與壓縮的機率自編碼器架構
邏輯量子位元
Logical Qubits
經錯誤校正的量子位元
BF16
Bfloat16
腦浮點16位格式
BitNet
BitNet
極低位元LLM，可在CPU上運行
BitNet 1.58b
BitNet 1.58b
1 位元量化模型技術
Blackwell 架構
Blackwell Architecture
NVIDIA 下一代 GPU 架構
Chinchilla定律
Chinchilla Laws
數據與參數的優化比例
DDIM
Denoising Diffusion Implicit Model
確定性採樣的擴散
DDPM
Denoising Diffusion Probabilistic Model
去噪擴散機率模型
DeepSpeed
DeepSpeed
微軟的分散式訓練框架
DPO
Direct Preference Optimization
直接優化偏好無需獎勵模型
Flash Attention
Flash Attention
加速注意力計算的記憶體高效實現
FP8
FP8
8位浮點格式
FSDP
Fully Sharded Data Parallel
全分片數據並行
GraphRAG
GraphRAG
結合圖資料庫與RAG的進階檢索方法
HBM3e
HBM3e
高頻寬記憶體第三代增強版
HNSW
HNSW
層級導航小世界近似最近鄰
HyDE
HyDE
用假設性文件嵌入提升檢索的RAG技巧
IA3
Infused Adapter by Inhibiting and Amplifying
輕量微調方法
INT4
INT4
4位整數量化
KL散度
Kullback-Leibler Divergence
衡量兩機率分布差異的指標
KV快取
KV Cache
快取注意力Key/Value以加速LLM生成
LIME
LIME
局部可解釋模型
Mamba
Mamba
狀態空間模型，長文本架構
Megatron
Megatron-LM
NVIDIA的大規模訓練框架
ORPO
ORPO
單階段偏好優化
P-jailbreaking
P-jailbreaking
透過偽裝繞過安全限制
Post-Norm
Post-Normalization
注意力後做正規化
Pre-Norm
Pre-Normalization
注意力前做正規化
QAT / PTQ
QAT & PTQ
量化感知訓練與後訓練量化
QLoRA
QLoRA
量化LoRA降低顯存需求
RLAIF
RLAIF
用AI回饋替代人類的強化學習對齊
Self-RAG
Self-RAG
自我檢查式檢索增強
SHAP
SHAP
特徵歸因方法
SwiGLU
SwiGLU
結合Swish與GLU的高效激活架構
Swin Transformer
Swin Transformer
分層視覺Transformer架構
Triton
Triton
GPU核函數開發語言與編譯器
Zero-1-to-3
Zero-1-to-3
單圖轉3D的技術
ZeRO優化器
ZeRO
消除優化器狀態冗餘