转述 DeepSeek 开源推理框架 DeepInfer:多日 KV 缓存撑起单卡每小时约 38 美元收入
DeepSeek 10 月 20 日开源自用推理框架 DeepInfer 并公布运营数据;核心的多日缓存系统与负载均衡未开源,官方建议最小部署 128 张 GPU。
DeepSeek 于 10 月 20 日开源了自家线上服务使用的推理框架 DeepInfer,并随附一份说明文档。产品作者 Aakash Gupta 在 X 上梳理了文档中的几组数据:按 DeepSeek 的闲时半价计算,其集群中每张芯片每小时带来约 38 美元收入;同一个集群每天处理约 155 万亿个 token。
收入高的关键在缓存。大模型每接到一条消息都要重新读取整段上下文,编码智能体甚至可能在每一步重读整个代码库,这部分重复计算最贵。DeepSeek 把这些中间结果存到磁盘:智能体流量保留 3 天,聊天流量保留 7 天,为此专门配备约 100 PB 的 SSD。命中缓存时,每百万 token 的复用成本约 0.003 美元,重新处理则约 0.15 美元,GPU 可以把时间留给生成新回答。
| 项目 | 数值(据 DeepSeek 文档转述) |
|---|---|
| 单集群日处理量 | 约 155 万亿 token |
| 缓存保留期 | 智能体 3 天 / 聊天 7 天 |
| 缓存存储 | 约 100 PB SSD |
| 每百万 token 成本 | 命中缓存 0.003 美元 / 重新计算 0.15 美元 |
| 最小建议部署 | 128 张 GPU(64 预填充 + 64 解码) |
开源内容包括推理引擎和算子,但 README 列出了完整服务所需、却未包含的三个组件,其中两个正是支撑多日缓存的存储系统和负载均衡器。DeepSeek 称这部分代码与内部系统耦合过深,改为发布原理说明。同时发布的还有 deepseek-recipe,可以让第三方部署的服务与 DeepSeek 官方 API 表现一致。DeepSeek 员工 Tianyi Cui 表示,希望各地的公司都能部署 DeepSeek 模型并从中获利。
对做推理平台和运维的工程团队来说,这次开源最有参考价值的是长时上下文缓存的设计思路:把重复读取的上下文落盘长期保存,用存储换算力。128 张 GPU 的起步规模也意味着,直接受益的主要是云厂商和大规模推理服务商。