理应资讯
软件研发智能化

转述 DeepSeek 开源推理框架 DeepInfer:多日 KV 缓存撑起单卡每小时约 38 美元收入

理应编辑室 ·

DeepSeek 10 月 20 日开源自用推理框架 DeepInfer 并公布运营数据;核心的多日缓存系统与负载均衡未开源,官方建议最小部署 128 张 GPU。

DeepSeek 于 10 月 20 日开源了自家线上服务使用的推理框架 DeepInfer,并随附一份说明文档。产品作者 Aakash Gupta 在 X 上梳理了文档中的几组数据:按 DeepSeek 的闲时半价计算,其集群中每张芯片每小时带来约 38 美元收入;同一个集群每天处理约 155 万亿个 token。

收入高的关键在缓存。大模型每接到一条消息都要重新读取整段上下文,编码智能体甚至可能在每一步重读整个代码库,这部分重复计算最贵。DeepSeek 把这些中间结果存到磁盘:智能体流量保留 3 天,聊天流量保留 7 天,为此专门配备约 100 PB 的 SSD。命中缓存时,每百万 token 的复用成本约 0.003 美元,重新处理则约 0.15 美元,GPU 可以把时间留给生成新回答。

项目 数值(据 DeepSeek 文档转述)
单集群日处理量 约 155 万亿 token
缓存保留期 智能体 3 天 / 聊天 7 天
缓存存储 约 100 PB SSD
每百万 token 成本 命中缓存 0.003 美元 / 重新计算 0.15 美元
最小建议部署 128 张 GPU(64 预填充 + 64 解码)

开源内容包括推理引擎和算子,但 README 列出了完整服务所需、却未包含的三个组件,其中两个正是支撑多日缓存的存储系统和负载均衡器。DeepSeek 称这部分代码与内部系统耦合过深,改为发布原理说明。同时发布的还有 deepseek-recipe,可以让第三方部署的服务与 DeepSeek 官方 API 表现一致。DeepSeek 员工 Tianyi Cui 表示,希望各地的公司都能部署 DeepSeek 模型并从中获利。

对做推理平台和运维的工程团队来说,这次开源最有参考价值的是长时上下文缓存的设计思路:把重复读取的上下文落盘长期保存,用存储换算力。128 张 GPU 的起步规模也意味着,直接受益的主要是云厂商和大规模推理服务商。

# 推理框架# DeepSeek# DeepInfer# KV 缓存# 开源