README 先把做不到的事寫在能跑的功能前面。DeepSeek 把內部生產推理框架 DeepInfer 以 Apache License 2.0 放到 github.com/deepseek-ai/DeepInfer，官推寫「fully open source」，要幫社群降低算力成本與耗電。同一頁接著列了三項「完整推理服務還需要、這次沒放進來」的東西：一套 KV 快取系統、預填與解碼拆分（VE／Prefill／Decode disaggregation，並註記引擎端多數功能已經實作）、以及預填與解碼兩邊資料並行副本的負載平衡。
換句話說，克隆倉庫不等於克隆官方 API。你拿到的是離線推理引擎、算子、排程與取樣器；官方線上服務還靠的那層快取與流量調度，要自己接。IT之家轉述官方說法：模型能力邊界由模型本身劃定，真正決定大規模服務成本和電費的，是長期沒被拿到台面上的中間層——推理框架。這次開的就是那一層的一部分。
官方 X 文時間落在美國文職機構 DeepSeek 拆除令見報的同一天。拆除令那篇寫在：DHS 清文職系統，第三方實作也算。The Next Web 把兩件事寫成前後腳。框架授權是 Apache 2.0；配套的 token 編解碼元件 deepseek-recipe 另開倉庫，授權寫 MIT，官方稱與正式 API 的處理邏輯對齊。
倉庫裡有的，和官方服務還差的
支援的模型現在只有一個：DeepSeek-V4.1-Flash，預設檢查點 deepseek-ai/DeepSeek-V4.1-Flash-1017。第一次跑會從 Hugging Face 快取拉權重，本機有檔可設 DEEPINFER_HF_MODEL_DIR。Flash-1017 本身兩天前才換過，官方 DeepSWE 寫 77.0，見：Search／Fetch 每千次 0.75 美元那篇。DeepInfer 這次沒有順便開 V4-Pro 或其他檢查點的服務程式。
功能清單是一組系統論文落地後的打包，不是新模型發表。自訂算子寫了 FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect，中間還有 TileLang。並行寫 Attention DP／balanced CP，以及 MoE 的專家並行加 EPLB。解碼端是 DSpark 加「依信心排程的驗證」：先草擬若干 token，再用信心分數決定何時核對。另外還有 SWA bounded replay、號稱零額外開銷的非同步批次排程、batch-invariant 推理、確定性取樣，以及可用正則、JSON schema 或 EBNF 卡住的結構化輸出。
硬體只認兩種：NVIDIA 的 SM100 資料中心 GPU，和華為昇騰 950 NPU。編譯條件寫 Linux、GCC 13 以上、Python 3.12；NVIDIA 要 CUDA 13，昇騰要 CANN 9.2。這條雙後端不是新故事。10 月初 DeepSeek 已經把昇騰工具鏈六件套開源，TileLang 對上 CUDA，950 超節點 128 卡、密集 GEMM 利用率寫 99.8%，見：昇騰六件套。9 月那筆 16 萬顆昇騰 950DT 訂單，當時就寫訓練仍靠 NVIDIA、推理機房走昇騰，見：烏蘭察布 1 吉瓦那篇。DeepInfer 是把「同一套生產服務程式能編到兩邊」寫進可下載的倉庫。
| 項目 | 這次放進 GitHub | 官方寫了但沒放 |
|---|---|---|
| 授權 | DeepInfer Apache 2.0；deepseek-recipe MIT | — |
| 模型 | 僅 V4.1-Flash（預設 1017） | 其他 DeepSeek 檢查點的服務程式 |
| 硬體 | SM100、昇騰 950 | 消費級卡、更舊的 GPU 世代 |
| 引擎能力 | 算子、MoE 並行、投機解碼、確定性取樣、結構化輸出 | KV 快取系統、完整預填／解碼拆分、副本負載平衡 |
| 預設用法 | examples/offline_inference.py 離線推理 | 對外 API 閘道、計費、多租戶 |
155 兆是問答裡的數字，倉庫圖是另一套帳
社群轉傳最快的三個數字是：單一叢集每天 155 兆 token、輸入快取命中率 96%、生成速度 230 token／秒（寫程式可到 300）、首 token 約 400 毫秒。Crypto Briefing 把這組數字寫成「V4.1-Flash 掛在這套框架上的生產數據」。G2C 對過倉庫後的結論更窄：這組數字出在 DeepSeek 一併發布的部署問答，GPU 數量沒寫，所以換不成每卡吞吐；倉庫 README 裡沒有 155 兆這一行。explainx.ai 也獨立核過：155 兆、每卡每小時 38 美元營收、96% 命中率、100 PiB SSD KV 快取，都對不上倉庫本文。KV 快取正是這次沒開源的那一層，用沒放進來的快取去解釋官方線上命中率，本來就無法複現。
倉庫裡能複現的，是另一張圖。預填在 4 張 SM100 上量，解碼在 64 張上量，都寫成落在同一個 scale-up 網域。examples/sweep/plot_pareto.py 把解碼圖的縱軸做成「引擎步／秒 × τ」，τ = 1 + nextn × a。公開圖用 3 個草稿 token、假設接受率 a = 75%，所以 τ = 3.25。繪圖程式對「有預算的驗證」拒絕套 τ，因為那種跑法已經反映真實接受率；公開圖用的是固定長度驗證，不是生產配置。G2C 另算：若把 75% 讀成「每個草稿在前一個存活的條件下再存活」的條件機率，期望 token／步大約 2.73，比圖上的 3.25 低約 16%。預算驗證吞吐表的註記是「由 EP64／DP64 基準數據計算」，也就是估算，不是生產端到端實測。
The Next Web 引彭博的 Saritha Rai：目前沒有獨立基準去核 DeepInfer 相對 vLLM 或其他引擎到底快多少。官方分數只能當「這套引擎能把 V4.1-Flash 的品質跑出來」的健全性檢查。eval/README.md 自己把 AIME 2026 99.9%、GPQA Diamond 93.4%、HLE-Full 42.6%（Pass@1）標成 indicative rather than exact；AIME 2026 上規則判定與 LLM 判定在 960 次 rollout 上全部一致。那是在證明引擎沒把模型跑壞，不是在證明引擎比別人省電。
底盤寫著 vLLM，vLLM 也回了謝謝
README 的譜系沒有裝成從零自研。原文寫：DeepInfer originally built primarily on vLLM, with additional inspiration from SGLang and TensorRT-LLM。TensorRT 那條線是 NVIDIA 的推論堆疊；vLLM 是現在開源推理的預設起點。vLLM 專案在 X 上謝謝 DeepSeek 有寫出這段譜系，並說會繼續用 DeepInfer 裡的做法改進自己對 V4.1-Flash 的支援。這比「開源一個引擎、順便把上游寫成配角」常見的姿勢收斂。
對已經在 vLLM 或 SGLang 上跑 Flash 的人，這次比較像多一份「官方生產配置怎麼排」的參考實作，不是必須立刻搬家。對還沒有 KV 快取層、也沒有預填／解碼拆分的團隊，克隆 DeepInfer 之後仍要補那三塊，才能接近官方線上那種 96% 命中率敘事。投機採樣在倉庫裡是開著的，預設 nextn = 5；範例 README 寫，關掉要顯式設 DEEPINFER_USE_NEXTN_DECODE=0。解碼吞吐的帳，在全接受假設下把一步算成 1 + nextn 個 token，不管真實接受率。把這條公式直接拿去跟線上 SLA 對表，會高估。
deepseek-recipe 解的是另一個會讓自架輸出對不齊的問題：官方 API 怎麼把字切成 token、再拼回來。自架權重若用另一套分詞器，同一句 prompt 的邊界會錯，評測和線上行為會開始分叉。官方把這層與引擎分開授權、分開倉庫，等於承認「能跑模型」和「跑出來的 token 邊界跟官網一樣」是兩件事。
星數在不同快照對不上。AI Weekly 截稿時寫 5,500 星、415 個 fork；The Next Web 寫週二午後已破 8,000。倉庫還在漲，數字只說明擴散速度，不說明有多少人真的編成雙後端服務。
開源例外，和聯邦拆除令撞在同一天
中國商務部、科技部第 48 號公告把人工智慧 23 項技術列入出口目錄修訂草案，意見收到 11 月 15 日，並從公告日起對列管技術做出口前登記。草案自己寫：已開源、已發論文、已進公共領域的，不納入管理；路透轉述 API、網站、App、SaaS 這類境外存取也不算這次「技術出口」。DeepInfer 用 Apache 2.0 把生產引擎放進公共領域，剛好落在這條例外裡。權重 9 月就開了，見：V4.1-Flash 開源、KV 快取砍到四分之一。引擎這次補上，等於「模型可以下、跑模型的程式也可以下」，仍不包括官方線上那層快取與調度。
同一天美國國土安全部把 DeepSeek 從文職聯邦 IT 拆出去，範圍寫到第三方實作。開源倉庫不會因為那道命令從 GitHub 消失。會變的是：美國文職機構不能把 DeepInfer 或 Flash 權重裝進自己的系統；商業雲、大學、外國買家仍可以。Vercel 9 月指數裡 DeepSeek 全系佔閘道 58% token、支出 6.6%，Flash 一家接近一半 token。那些流量走的是美國境內供應商的比例，指數寫將近 70%。引擎開源之後，代管商理論上能把官方生產手法搬進自己的機房，帳單結構仍是「便宜線扛量」。聯邦文職帳號不在這張表裡。
現在能上線的條件，比 star 數窄
離線範例是 python examples/offline_inference.py。基準腳本印三個穩態指標：預填吞吐（token／秒／GPU，跳過 5 段暖機）、解碼平均步／秒、以及用全接受假設換算的解碼吞吐。預填供給不夠兩個取樣點就印 N/A。這套數字適合拿來核「我這套硬體有沒有把引擎編成官方圖上的形狀」，不適合直接寫進對外 SLA。
要把 DeepInfer 當成生產 API 的替代品，至少還要自備三件事：KV 快取（官方線上命中率敘事綁在這層）、預填／解碼拆分與跨機負載平衡、以及和 deepseek-recipe 對齊的入站協定。硬體還要是 SM100 或昇騰 950，不是手上那張消費級卡。獨立第三方還沒交出「比 vLLM 快多少、省多少電」的對照。倉庫能證明的是：官方願意把生產引擎的核心路徑公開，而且同一份程式能編到 NVIDIA 與昇騰。倉庫不能證明的是：你克隆之後，成本曲線會自動變成官方那張每叢集 155 兆的樣子。
先跑通離線範例、核對分詞邊界、再決定要不要自己補快取層。缺那三塊就把 DeepInfer 寫進「已可取代官方 API」的遷移計畫，計畫會在第一個高併發尖峰停住。