DeepSeek 全面开源推理框架 DeepInfer：单集群 155 万亿 Token/天、兼容英伟达与昇腾

开源了两样东西：推理框架 + Token 编解码组件

DeepInfer 集成高性能算子与深度优化的推理引擎，支持分布式推理、推测解码（speculative decoding）、SWA Bounded Replay、结构化输出等能力，兼容英伟达与华为昇腾两大平台。同步开源的 deepseek-recipe 是生产级 Token 编解码组件，处理逻辑与 DeepSeek 官方 API 完整对齐——确保社区部署与官方服务拿到一致的 API 体验。两个仓库都已开在 GitHub：deepseek-ai/DeepInfer 与 deepseek-ai/deepseek-recipe。

官方给出的线上数据：155 万亿 Token/天、每卡每小时 38 美元

据 DeepSeek 技术报告，基于 DeepInfer 已实现 V4.1 Flash 的高吞吐、低延迟大规模推理，单一集群的服务吞吐达 155 万亿 Tokens/天，按谷价计整体营收为每卡每小时 38 美元。DeepSeek 把它定位为「大模型普惠」的关键一层：训练使模型学有所成，推理则让模型为人所用；推理框架负责统筹调度庞大的算力集群，其效率直接决定 AI 服务的算力成本与电力消耗。

为什么单独开源「推理框架」

在 DeepSeek 的表述里，模型的能力边界由模型本身划定，但「如何以合理成本提供超大规模模型服务」，取决于一个长期不被公众注意的中间层——推理框架。此前 DeepSeek 已陆续开源一系列大模型、TileLang 编译工具与推理算子库，这次把推理框架也放开，等于把「从造模型到供服务」的全套手艺向社区摊开。对自建推理服务的企业，这套框架的价值不在「又一个模型」，而在「怎么把已有的卡跑得更省」。

对私有化的含义：从「能跑」到「跑得省」

多一个开源底座私有化推理层此前主要在 vLLM / SGLang / llama.cpp 之间选，现在多了一个头部厂商出品、可与官方线上对齐的选项。
双栈兼容同时支持英伟达与华为昇腾，对「信创 + 存量 GPU 混部」的单位，迁移路径更短。
成本可对标官方给出「155 万亿 Token/天、每卡每小时 38 美元」的效率锚点，评估自建推理 TCO 时有了可参照的标尺。
注意边界官方数据是 DeepSeek 自家集群、自家模型的线上统计，换硬件、换模型、换负载后，需用自己的任务集复测。

机悟的建议：私有化先算「推理层」的账，别只比模型

模型选对了，推理层拖后腿一样贵。建议四步：

分层评估模型（权重/许可）、推理框架（吞吐/延迟）、硬件（显存/互联）三层分开算，别混在一起拍板。
先做 A/B拿自有 20–50 条真实任务，在候选框架上比完成率、首字延迟、输出 token 与单卡吞吐，再用官方锚点校准。
双栈留后路如果未来可能上昇腾，优先选「已在昇腾验证过」的框架，避免二次迁移。
许可与审计框架与组件的许可证、依赖清单归档，确保内网闭环可分发包。

来源：澎湃新闻（DeepSeek 全面开源推理框架 DeepInfer，2026-10-20）、GitHub（deepseek-ai/DeepInfer、deepseek-ai/deepseek-recipe）。吞吐/营收为 DeepSeek 官方技术报告口径，换硬件与负载后表现不同，以官方发布为准。本文仅转述公开报道，不评判任何企业与产品，不构成投资建议。