DeepSeek正式开源高性能推理框架DeepInfer，该框架此前已为DeepSeek的大规模生产服务提供底层支持。此次发布的版本主要包含用于大规模服务的离线推理核心功能。

核心特性与技术支持

DeepInfer目前支持DeepSeek-V4.1-Flash模型，并在硬件适配上同时兼容NVIDIA SM100 GPU与华为昇腾950 NPU。

在技术架构方面，DeepInfer集成了多项优化机制以提升推理效率：

  • 底层优化：内置FlashMLA、DeepGEMM、DeepEP、TileKernels、DeepSelect及自定义TileLang内核，优化了模型与采样器运行时。
  • 并行计算策略：支持注意力机制数据并行（DP）、平衡上下文并行（CP），以及混合专家模型（MoE）的专家并行（EP）结合EPLB。
  • 调度与加速：引入DSpark及基于置信度的调度验证，利用草稿token加速解码；支持异步调度（零开销批量调度器），实现CPU批量调度与设备执行的重叠。
  • 推理一致性：提供批次不变推理确保不同批次下结果一致，并支持确定性采样，保证相同输入与参数下输出恒定。
  • 其他功能：支持SWA有界重放以减少预填充工作，并允许通过正则表达式、JSON模式或EBNF语法限制结构化输出。

值得注意的是，当前开源版本尚未包含构建完整推理服务所需的全部组件，如KV缓存系统、VE/预填充/解码分离引擎的大部分功能，以及预填充和解码数据并行副本间的负载均衡模块。

部署与使用

DeepInfer的运行环境要求Linux操作系统、GCC 13.0及以上版本、Python 3.12。针对NVIDIA平台需CUDA 13，华为昇腾平台则需CANN 9.2。

用户可通过源码构建DeepInfer，默认情况下系统将自动从Hugging Face下载DeepSeek-V4.1-Flash-1017检查点，也可通过环境变量指定本地路径。框架默认启用异步调度，并提供了详细的离线推理示例脚本。

背景与许可

DeepInfer主要基于vLLM构建，同时在设计上受到SGLang和TensorRT-LLM的启发。该项目遵循Apache License 2.0开源协议发布。