瀏覽全部詞彙

上下文窗口 (語境窗口)

Context Window

語言模型能同時處理的最大token數量

上下文緩存

Context Caching

快取長文本以降低成本

中央極限定理 (CLT)

Central Limit Theorem (CLT)

樣本平均的分布隨樣本數增大趨近常態，不論母體分布為何，為統計推論與 [[machine-learning]] 評估的基礎。

互連頻寬

Interconnect Bandwidth

裝置間通訊速率

反向傳播 (倒傳遞)

Backpropagation

訓練神經網絡時計算梯度的核心算法

反思機制

Reflection Mechanism

生成後自我檢查

幻覺 (AI幻覺 / 模型幻覺)

Hallucination (AI Hallucination)

AI生成虛假或無根據資訊的現象

支持向量機

SVM

基於最大間隔的經典分類算法

主成分分析

PCA

用於降維的線性變換方法

主動學習

Active Learning

模型主動選擇最有價值樣本請人類標記的學習策略

去除限制的模型

Uncensored Model

移除內容審查的微調模型

去噪

Denoising

從噪聲還原信號

可塑性

Plasticity

神經網路持續適應新資料、學習新任務的能力；與災難性遺忘相對，持續學習與 [[online-learning]] 常需平衡可塑性與穩定性。

可解釋性AI

Explainable AI

讓人類理解AI決策過程的技術

平坦最小值 (Flat Minima)

Flat Minima

損失曲面中曲率較小、參數微擾對損失影響小的區域，實務上常與較佳泛化相關。

本體感受

Proprioception

感知自身身體位置

正則化

Regularization

泛指防止模型過擬合的約束技術

生存風險

X-risk

人類存續的威脅

目標對齊

Goal Alignment

Agent 目標與人類期望一致

交叉編碼器

Cross-Encoder

查詢與文檔聯合編碼

全域最小值

Global Minimum

函數的整體最小值

多代理

Multi-agent

多個AI代理協作完成任務

多智能體系統

MAS

多Agent協作系統

多智能體編排

MAO

協調多專業Agent

多跳推理

Multi-hop Reasoning

需多步推論才能得出答案

多頭注意力

Multi-head Attention

並行多組注意力以捕捉不同關係

自回歸解碼

Autoregressive Decoding

逐token生成的解碼方式

自注意力機制

Self-Attention

讓序列中每個位置關注其餘位置的注意力機制

自相關

Autocorrelation

序列與自身滯後版本的相關性

自監督學習

Self-supervised Learning

從數據本身構造監督信號無需人工標記的學習方法

自編碼器

Autoencoder

學習數據壓縮與重建的神經網絡

自癒式防火牆

Self-Healing Firewall

AI 自動偵測並修復漏洞

位置編碼

Positional Encoding

為Transformer注入序列位置資訊

序列到序列

Seq2Seq

輸入與輸出皆為序列的模型架構

批次正規化 (Batch Norm / BN)

Batch Normalization (Batch Norm / BN)

對每層輸入正規化以穩定訓練的技術

折扣因子

Discount Factor

未來獎勵的折現係數

沒有免費午餐定理 (NFL)

No Free Lunch Theorem (NFL)

在對所有可能問題平均後，任何兩種優化或學習演算法期望表現相同；意即不存在通用最優演算法，需依問題選擇。

事實查核

Fact Checking

自動驗證資訊真實性的AI技術

具身智能

Embodied AI

具物理身體的AI

卷積神經網絡 (CNN)

Convolutional Neural Network (CNN)

專門處理圖像數據的神經網絡架構

委派信任度

Delegation Trust

對 Agent 委派任務的可信度評估

注意力機制 (注意力)

Attention Mechanism (Self-Attention)

讓模型專注於輸入重要部分的機制

物體檢測

Object Detection

在影像中定位並辨識物體類別的技術

知識圖 RAG

Knowledge Graph RAG

結合知識圖與 RAG 的檢索增強

知識圖譜

Knowledge Graph

以圖結構組織實體與關係的知識庫

知識蒸餾

Knowledge Distillation

將大模型知識轉移到小模型

表示學習

Representation Learning

自動學習數據表示

金絲雀部署

Canary Deployment

漸進式流量切換

長短期記憶網絡

LSTM

解決長期依賴問題的循環神經網絡架構

長程推理

Long-term Reasoning

跨多步驟的連貫推理

門控循環單元

GRU

LSTM的簡化版，少參數的序列建模架構

前饋網絡

FFN

Transformer中的兩層全連接子模組

姿態估計

Pose Estimation

估計人體或物體關節位置的技術

後驗機率

Posterior Probability

觀測到數據後的機率

思維骨架

Skeleton-of-Thought

先骨架再填充

指令微調

Instruction Tuning

用指令-回應對微調模型以遵循人類指令

查詢擴展

Query Expansion

擴展查詢以提升檢索

紅隊測試

Red Teaming

模擬攻擊以發現AI系統弱點

計算受限

Compute-bound

受運算能力限制

計算智能

Computational Intelligence

仿生與軟計算方法總稱

重排序

Re-ranking

檢索後的二次精準篩選

重疊窗口

Overlapping Windows

切片時重叠的切分方式

時間一致性

Temporal Consistency

影片幀間的連貫性

校準 (機率校準 / Calibration)

Calibration (Probability Calibration)

讓分類器輸出的機率與真實發生頻率一致，使「預測 0.8」約對應 80% 實際為正。

氣隙 AI

Air-gapped AI

物理隔離環境下的 AI

特徵存儲

Feature Store

集中管理特徵的儲存

特徵值與特徵向量

Eigenvalues / Eigenvectors

線性變換的不變方向與縮放

特徵歸因

Feature Attribution

各特徵對預測的貢獻

矩陣分解

Matrix Factorization

將矩陣分解為低秩因子

破解提示詞

Jailbreak Prompt

繞過安全限制的提示

破獄

Jailbreaking

繞過AI安全限制獲取違規輸出的手法

記憶體受限

Memory-bound

受記憶體頻寬限制

記憶體頻寬

Memory Bandwidth

記憶體與處理器間的數據傳輸速率

馬可夫鏈

Markov Chain

下一狀態只依賴當前狀態的隨機過程

偏差-方差權衡

Bias-Variance Tradeoff

模型複雜度與泛化能力的取捨

剪枝

Pruning

移除模型中冗餘參數以壓縮模型

動量

Momentum

利用歷史梯度的加速項

動態目標設定

Dynamic Goal Setting

AI 可依情境調整目標

區域最小值

Local Minimum

鄰域內的最小值

參數量

Model Parameters

神經網絡中可學習的權重數量，衡量模型大小

基因演算法

Genetic Algorithm

模擬進化過程的優化算法

密度鏈

Chain-of-Density

CoD，摘要的密度優化

專家混合模型

Mixture of Experts

多專家子網絡的架構

強化學習

Reinforcement Learning

透過試錯與獎勵機制學習最佳決策的方法

採樣器

Sampler

擴散模型中的去噪採樣

探索與利用

Exploration vs. Exploitation

嘗試新事物與利用已知的取捨

推理標記

Reasoning Tokens

模型思考時內部消耗的 Token

推論時擴展

Inference-time Scaling

在回答時花更多時間思考以提高品質

梅爾頻譜

Mel Spectrogram

人耳感知的頻譜表示

梯度下降 (梯度遞減)

Gradient Descent (SGD)

透過梯度逐步調整參數以最小化損失的優化方法

梯度消失 (Vanishing Gradient)

Gradient Vanishing (Vanishing Gradient)

深層網絡梯度趨近於零

梯度提升

Gradient Boosting

迭代添加模型以修正殘差的集成方法

梯度裁剪

Gradient Clipping

限制梯度大小防止爆炸

梯度檢查點 (Gradient Checkpointing)

Gradient Checkpointing (Activation Checkpointing)

前向時只存部分激活為檢查點，反向時再重算其餘激活，以時間換取 [[backpropagation]] 記憶體，可訓練更大模型。

梯度爆炸 (Exploding Gradient)

Gradient Explosion (Exploding Gradient)

深層網絡梯度急劇增大

深偽檢測

Deepfake Detection

識別AI生成的深偽內容

混合搜索

Hybrid Search

向量與關鍵字檢索結合

符號人工智慧

Symbolic AI

以符號推理與知識表示為核心的傳統AI範式

蛋白質結構預測

Protein Folding Prediction

如AlphaFold

規劃演算法

Planning Algorithms

拆解步驟的規劃能力

軟計算

Soft Computing

涵蓋模糊邏輯、神經網路、演化計算等容忍不確定性與近似解的計算範式，與傳統硬計算（精確、離散）相對。

軟體機器人

Soft Robotics

軟體材料的機器人

逐位置前饋網路

Position-wise Feed-Forward

Transformer中每位置獨立的前饋層

通訊開銷 (Communication Overhead)

Communication Overhead

[[distributed-training]] 中節點間同步梯度或參數所耗時間與頻寬，為擴展時的主要瓶頸之一。

連結主義

Connectionism

以神經網絡相互連接為核心的AI範式

單樣本學習

One-shot Learning

僅用單一範例學習新類別

嵌入向量 (嵌入 / 詞嵌入 / 向量嵌入) (Embedding Lookup)

Embedding (Word Embedding) (Embedding Lookup)

將離散數據（如文字）轉換為連續向量表示

循環神經網絡 (RNN)

Recurrent Neural Network (RNN)

處理序列數據的神經網絡，有記憶能力

提示工程

Prompt Engineering

設計和優化AI提示詞的專業技能

變現方法查看詳情

提示洩漏

Prompt Leaking

系統提示被輸出暴露

提示詞注入

Prompt Injection

透過惡意輸入操控AI輸出的攻擊

提示詞消毒

Prompt Sanitization

防止注入的輸入清理

提示詞壓縮

Prompt Compression

壓縮 prompt 以節省 token

提示微調

Prompt Tuning

只訓練軟提示

插幀

Frame Interpolation

在幀間插入過渡幀

握手協議

Handshake Protocol

Agent 間建立信任與能力協商的協議

智能體工作流

Agentic Workflow

AI循環思考與行動的多步驟任務執行模式

智能體生命週期管理

Agent Lifecycle Management

Agent 從開發到退役的完整管理

智能體推理

Agentic Reasoning

Agent的推理能力

智能體對接

A2A (Agent-to-Agent)

AI 之間互相發單、協作的通訊模式

殘差連接

Residual Connection

跳過連接以緩解梯度消失

殘差網絡

ResNet

透過殘差連接訓練極深網絡的架構

無限上下文

Infinite Context

透過 RAG 或長緩存實現的虛擬無限長度

稀疏架構

Sparse Architectures

每次只激活部分參數的架構

稀疏檢索

Sparse Retrieval

如BM25的關鍵字檢索

超長上下文窗口

Extended Context Window

2M+ tokens 的長上下文

量化 (模型量化) (Quantization Aware Training)

Quantization (Model Quantization) (Quantization Aware Training)

將模型權重降低精度以減少記憶體與加速推論

僅解碼器

Decoder-only

如GPT般只含解碼器的模型

僅編碼器

Encoder-only

如BERT般只含編碼器的模型

微調 (模型微調)

Fine-tuning (Fine Tuning / Model Fine-tuning)

在預訓練模型基礎上，使用特定數據進一步訓練以適應特定任務

概念漂移

Concept Drift

數據分布隨時間變化

溫度縮放

Temperature Scaling

調整softmax溫度的校準方法

稠密 vs 稀疏模型

Dense vs Sparse Models

全參數 vs 部分激活的架構對比

稠密模型

Dense Model

所有參數都參與每次運算的神經網絡模型

稠密檢索

Dense Retrieval

用嵌入向量的檢索

經驗回放

Experience Replay

重複利用過往經驗的訓練

群體智慧

Swarm Intelligence

仿螞蟻、蜂群等群體行為的分散式優化與決策方法，如 PSO、ACO，用於組合優化與 [[reinforcement-learning]] 的探索策略。

群體機器人學

Swarm Robotics

多機器人協作系統

腦機介面

Brain-Computer Interface

BCI，大腦與電腦連接

跨模態嵌入

Cross-modal Embeddings

將不同模態對齊到同一向量空間

路由

Router

決定將請求發給大模型或小模型的組件

運動學

Kinematics

物體運動的幾何描述

零樣本思維鏈

Zero-shot CoT

不給範例即引導模型逐步推理

零樣本語音合成

Zero-shot TTS

無需目標聲音樣本即可克隆

預訓練目標

Pre-training Objective

預訓練階段的優化目標

實體分割

Instance Segmentation

區分同類別不同個體的分割任務

實體連結

Entity Linking

將文本中的實體對應到知識庫

對抗樣本

Adversarial Examples

讓人眼難辨但使AI出錯的輸入

對齊

Alignment

確保AI目標與人類價值觀一致的議題

監督微調

SFT

用標記數據微調模型

算子融合

Operator Fusion

將多個小算子（如 ReLU、BN、Conv）合併成單一 kernel，減少 [[gpu]] 記憶體存取與 kernel 啟動開銷，以加速 [[inference]] 與訓練。

管線並行

Pipeline Parallelism

將模型按層切分到多裝置，以微批次填滿管線、隱藏氣泡，為 [[model-parallel]] 的一種，常用於大 [[llm]]。

精準醫療 AI

Precision Medicine AI

依基因與病歷個人化醫療的 AI

維度災難

Curse of Dimensionality

高維空間的數據稀疏問題

網路韌性 AI

Cyber Resilience AI

AI 強化資安防禦與恢復

蒙地卡羅方法

Monte Carlo Method

透過隨機採樣近似計算

語義分割

Semantic Segmentation

為影像每個像素標註類別

語義切片

Semantic Chunking

依語義邊界切分文本的RAG預處理

語義緩存

Semantic Cache

依語義相似度緩存，節省重複問題費用

遞歸任務分配

Recursive Tasking

遞歸式拆解任務

遞歸字元分割

Recursive Character Splitter

遞歸切分文本

遞歸摘要

Recursive Summarization

多層級遞歸式摘要長文

價值函數

Value Function

估計狀態或動作的期望回報

價值對齊

Value Alignment

使AI目標與人類一致

層正規化

Layer Normalization

對層內特徵正規化的技術

影片 RAG

Video RAG

對影片內容進行檢索增強

影片生影片

Video-to-Video

由參考影片生成新影片

數據血緣

Data Lineage

追蹤訓練數據來源與演變的紀錄

數據稀缺

Data Scarcity

高品質訓練數據供不應求

樂透券假說

Lottery Ticket Hypothesis

主張隨機初始化網路中存在子網路（「中獎券」），單獨訓練可達原網路表現，與 [[pruning]] 與稀疏化相關。

標籤平滑

Label Smoothing

軟化硬標籤以減輕過擬合的技術

模仿學習 (Imitation Learning)

Imitation Learning (IL)

從專家示範（狀態－動作對）學習策略的 [[reinforcement-learning]] 範式，含行為克隆與 DAgger、IRL 等。

模型坍塌

Model Collapse

AI數據訓練導致性能退化

模型並行

Model Parallelism

將單一模型切分到多張 [[gpu]] 或節點上，以單層或層內分割降低單機記憶體需求；常與 [[distributed-training]] 並用。

模型量化

Model Quantization

壓縮模型權重精度

模型漂移

Model Drift

模型表現隨時間退化

模型漂移監控

Model Drift Monitoring

持續監測模型效能衰減

模型擴展

Model Scaling

增大模型規模以提升表現

潛在空間

Latent Space

壓縮後的抽象表示空間

潛在擴散

Latent Diffusion

在潛在空間的擴散

熱身

Warmup

訓練初期漸進提高學習率的技巧

熵

Entropy

衡量不確定性或資訊量的指標

編排治理

Orchestration Governance

對多 Agent 編排的監督與合規

編碼器-解碼器

Encoder-Decoder

將輸入編碼後解碼輸出的序列到序列架構

遮罩語言模型

MLM

預測被遮罩位置的預訓練任務

噪聲調度

Noise Schedule

擴散過程的噪聲安排

機製可解釋性

Mechanistic Interpretability

透過分析 [[transformer]] 等模型內部計算（注意力、神經元、電路）理解其行為與表徵，偏重因果與可重現詮釋。

機器學習運維

MLOps

將ML模型從開發到部署的運維實踐

積分梯度 (Integrated Gradients)

Integrated Gradients

依輸入對輸出的梯度沿基準路徑積分，得到每個特徵的歸因分數，為可解釋 AI 的歸因方法之一；與 [[grad-cam]] 同屬解釋性技術。

遺忘曲線（AI）

NIAH (Needle in a Haystack)

測試模型在長文中的關鍵信息檢索能力

隨機失活

Dropout

訓練時隨機丟棄神經元以減少過擬合

隨機梯度下降

SGD

每批樣本更新參數的梯度下降變體

頻率派統計 (Frequentist Statistics)

Frequentist Statistics

將機率視為長期頻率、參數視為固定未知的統計學派，以 p 值、信賴區間與假設檢定為主要工具。

檢索增強生成 (RAG)

Retrieval-Augmented Generation (RAG)

結合外部知識檢索和語言生成的AI技術

聯邦學習

Federated Learning

多方協作訓練而不共享原始數據的隱私保護方法

聲音克隆

Voice Cloning

複製特定人的聲音

聲碼器

Vocoder

將特徵轉為音訊的模型

隱寫術

Steganography

隱藏資訊於載體

隱藏狀態

Hidden States

神經網絡中間層的表示

擴散模型 (擴散生成模型)

Diffusion Model

通過逐步去除噪聲來生成數據的生成式模型

藍綠部署

Blue-Green Deployment

雙環境切換部署

雙編碼器

Bi-Encoder

查詢與文檔分別編碼

類神經感測器

Neuromorphic Sensor

仿生物視覺的 event-based 感測器，以非同步事件流輸出亮度變化，利於低延遲、低功耗的 [[computer-vision]] 與邊緣 AI。

競爭智能體

Competitive Agents

對抗或競爭的Agent

權重剪枝

Weight Pruning

移除冗餘權重

邏輯鏈

Chain-of-Logic

比思維鏈更嚴謹的推導

驗證鏈

Chain-of-Verification

CoVe，生成後驗證

Adam優化器

Adam Optimizer

結合動量與自適應學習率的常用優化器

AdamW

帶權重衰減的Adam優化器

ADASYN (自適應合成採樣)

ADASYN (Adaptive Synthetic Sampling)

針對不平衡資料的過採樣方法，依少數類樣本難度自適應生成合成樣本。

AI水印

Watermarking

在AI生成內容中嵌入可辨識標記

AI代理

AI Agent

能自主完成多步驟任務的智能系統

Annoy

Approximate Nearest Neighbors Oh Yeah

Apache Flink (即時流處理)

Apache Flink

針對無界與有界資料流進行有狀態計算的分散式框架，保證 exactly-once 與低延遲。

API整合服務

API Integration Services

為企業將AI功能整合到現有系統的服務

變現方法查看詳情

Apriori 演算法 (關聯規則挖掘)

Apriori Algorithm

用於頻繁項集挖掘與關聯規則學習的經典無監督演算法，常見於購物籃分析。

Argilla

數據標註與模型回饋平台

AUC-ROC

分類模型排序能力的曲線下面積

AutoGPT

早期自主AI代理開源項目

BabyAGI

簡約的自主 Agent 專案

BERT (雙向編碼器表示)

BERT (Bidirectional Encoder Representations from Transformers)

Google開發的雙向Transformer編碼器，用於理解文本

BLEU分數

BLEU Score

評估機器翻譯質量的自動指標

BM25

經典的排序算法

Braintrust

AI 評估與監控平台

Cerebras

挑戰速度極限的 AI 晶片商

CFG尺度

CFG Scale

分類器自由引導強度

CLIP

對齊圖像與文本的對比學習模型

ComfyUI

基於節點的 Stable Diffusion 進階介面

ControlNet

控制擴散模型生成的架構

CrewAI

多代理協作開發框架

Decoding

LLM產生輸出的階段

DINO (自監督視覺 Transformer)

DINO (Self-Distillation with No Labels)

Meta 提出的自監督 [[vision-transformer]] 訓練方法，無標籤自蒸餾，可學到語義分割與物體邊界。

Dolphin

經過「去審查」處理的微調模型系列

EasyEnsemble (簡易集成)

EasyEnsemble

對多數類重複隨機欠採樣產生多個平衡子集，再訓練集成分類器，用於不平衡分類。

FAISS

Facebook AI Similarity Search

FP16

16位元浮點數，常用於訓練與推論

FPGA

現場可程式邏輯

GELU

Gaussian Error Linear Unit

Transformer常用的激活函數

GPU虛擬化

GPU Virtualization

虛擬分割GPU資源

GSM8K

數學推理評估基準

Haystack

強大的 RAG 框架

He 初始化 (Kaiming 初始化)

He Initialization (Kaiming Initialization)

針對 [[relu]] 設計的權重初始化，方差為 √(2/n_in)，使深層網路前向與反向時激活與梯度方差穩定。

Huber損失

Huber Loss

結合MSE與MAE的魯棒損失

HumanEval

程式碼生成評估基準

INT8

8位元整數，用於模型量化

InvokeAI

專業級開源繪圖介面

IP-Adapter

用參考圖控制生成的適配器

Jamba

AI21 結合 Transformer 與 Mamba 的架構

Kubernetes

容器編排與管理平台

L1正規化

L1 Regularization

Lasso，促進稀疏解

L2正規化

L2 Regularization

Ridge，權重衰減

LangChain

構建LLM應用的開源框架

LangGraph

LangChain 推出的 Agent 編排框架

LangServe

將 LangChain 轉為 API

LangSmith

LangChain 的偵錯與評估平台

LayerNorm

Layer Normalization

對層內特徵正規化

Llama.cpp

Meta Llama模型的C++高效推理實現

LlamaIndex

專為RAG設計的數據框架

MCMC (馬可夫鏈蒙地卡羅)

MCMC (Markov Chain Monte Carlo)

以馬可夫鏈產生樣本以近似複雜機率分佈或積分的抽樣方法，常用於貝氏推論與 [[generative-model]]。

Medusa (推論加速)

Medusa

為 [[llm]] 設計的推論加速方法：以多頭解碼一次產出多個候選 token，再以驗證頭篩選，可減少 [[inference]] 步數。

Milvus

企業級大規模向量資料庫

MMLU

綜合知識評估基準

MT-Bench

對話能力評測

NVIDIA NIM

預打包的推論微服務

NVLink

NVIDIA高速GPU互連

P-Tuning

可學習提示的微調方法

Perplexity 指標

Perplexity (metric)

衡量語言模型預測不確定性的評估指標

pgvector

PostgreSQL的向量擴展

Prefill

LLM處理輸入的階段

Pydantic AI

基於 Pydantic 的 Agent 框架

PyTorch (Torch Compile)

Facebook開發的開源深度學習框架

Q學習

Q-Learning

經典的無模型強化學習算法

Qdrant

高性能向量資料庫

Ray

分散式運算與ML訓練框架

ReAct

結合推理與行動的Agent框架

Roofline 模型

Roofline Model

以算力與記憶體頻寬為上限評估運算效能的分析模型，可判斷 [[gpu]] 或 kernel 是算力受限還是頻寬受限。

ROUGE分數

ROUGE Score

評估文本摘要質量的指標

Semantic Kernel

Microsoft 的 AI 開發框架

SiLU

Swish激活函數的別稱

SimCLR (對比式自監督學習)

SimCLR

以同一影像的不同 augmentation 為正樣本、其餘為負樣本的 [[contrastive-learning]] 框架，無需標籤即可學到視覺表徵；[[clip]] 前身之一。

SkyPilot

跨雲端 AI 任務調度

Tensor核心

Tensor Cores

專為矩陣運算的GPU單元

TensorFlow

Google開發的深度學習框架，生產環境首選

TensorRT

NVIDIA深度學習推論優化器

TGI

Text Generation Inference

Hugging Face的LLM推理服務

Top-K取樣

Top-K Sampling

只從機率最高的K個token中取樣的策略

Top-P取樣

Top-P Sampling

依累積機率閾值篩選token的取樣策略

TOPS

每秒兆次運算

TorchScript

PyTorch的序列化與優化格式

Transformer架構 (變換器 / 注意力模型) (Switch Transformer)

Transformer Architecture (Switch Transformer)

使用注意力機制處理序列數據的革命性神經網絡架構

Triton推理伺服器

Triton Inference Server

開源推論服務

U-Net

編解碼對稱的醫學影像架構

U-Net擴散

U-Net Diffusion

擴散模型中的U-Net骨幹

Vision Transformer

ViT

將Transformer用於圖像的架構

vLLM

高效LLM推理與服務開源框架

Weaviate

支援關鍵字與向量混合搜索

Word2Vec

將詞映射為向量的早期嵌入模型

XGBoost

高效梯度提升的實作框架

YOLO

You Only Look Once

實時物件偵測架構