vLLM 更新多模态编码器解耦,并公布 DeepSeek V4.1 Flash 自测结果
vLLM 在官方博客中介绍多模态服务的编码器解耦更新,包括仅元数据请求和远程嵌入传输,并公布 DeepSeek V4.1 Flash 等项目自测结果。官方同时写明,吞吐改善取决于负载和资源配置。
vLLM 项目在 2026 年 11 月 11 日的官方博客中,整理了多模态推理里编码器与预填充、解码解耦(EPD)的近期进展。文章把编码器、预填充和解码分成可独立部署的实例,并介绍了两项部署方式:编码器与合并的预填充/解码分开(E+PD),以及三者全部拆开(E/P/D)。官方解释,图像较重的负载可能需要更多编码器容量,而较长回复可能更需要解码容量,分开之后可以按各自需求调整实例数量和硬件,并把编码计算从服务语言模型的 GPU 上挪走。博客同时归纳了五项改动:仅传递元数据的请求、专用编码器执行路径、通过 NIXL 和 Mooncake 远程传送嵌入、跨编码器实例复用输出,以及在 Python 代理、vLLM Router、SMG 和 llm-d 里降低编排开销。
官方文档《Disaggregated Encoder》也说明了这种部署的目的:编码器与语言模型可以分开扩容,纯文本请求不必经过视觉编码器,编码器输出还可以在进程之间缓存复用。文档给出了 ExampleConnector 和 Mooncake 的示例脚本,并写明 Python EPD 代理已可以把部分音频请求改写成仅含元数据的引用,覆盖 Qwen2-Audio、AudioFlamingo3、Ultravox、Qwen2.5-Omni 和 Qwen3-Omni 等路径,让下游不必再做一遍音频预处理。文档还提醒:若任一项缺少元数据,整段音视频请求会退回原始媒体,而不会把两种输入混用;示例代理也不包含语音转写或实时接口。
博客把这次更新放在 2025 年 12 月已公布的编码器解耦架构之上,并写明 vLLM 主线现已为 DeepSeek V4.1 Flash 提供仅元数据的 EPD 支持。文中称,核心能力已包含在 vLLM v0.32.0 中,DeepSeek V4.1 Flash 的仅元数据支持则通过主线变更提供。仅元数据路径的要点是:编码器已经算过的版面信息随请求传给下游,嵌入仍走独立的传输通道,下游不必为了恢复输入布局再去抓取、解码或预处理原始媒体。官方也写明,如果远程嵌入没有送达,而下游手里只有元数据、没有原始媒体,就不应再做不安全的本地回退,而应把该请求报为不可用。
博客给出的一组对照是:在 GB200 上用 512 道 MP-DocVQA 验证题、每题 4 到 6 页原文,比较 8 块 GPU 的预填充/解码部署,与再增加 4 个单 GPU 编码器实例后的 EPD。官方写,在并发 64 到 128 时,把全部 12 块 GPU(含编码器)计入后,EPD 的每 GPU 吞吐比 8 卡基线高 6.6% 到 9.5%,P90 首 token 时间低 44% 到 47%;但在并发 16 时,EPD 的每 GPU 吞吐反而更低,并发 32 时大致持平。这些数字来自项目自己的评测,官方也写明收益取决于负载和资源配置,而不是只要拆分就会更快。音频路径上,博客给出在 MMAU test-mini、Qwen3-Omni-30B-A3B-Instruct、1 个编码器加 1 个预填充/解码实例、并发 64 的条件下,仅元数据转发把吞吐从每秒 62.21 个请求提到 73.13,平均延迟从 980 毫秒降到 853 毫秒,准确率从 75.90% 变为 75.65%,官方称差异仍待查。
博客还报告了另外几组项目内测试,同样需要连同条件一起看。例如在裁剪后的 Kimi-K3 检查点上,编码器实例只读取 96 个分片中的 2 个,权重加载时间从 683 秒降到 0.31 秒;在 30 帧 MMVU、Qwen3.5-35B-A3B、1 个编码器加 3 个预填充/解码实例的三次运行中,官方称端到端吞吐提高约 94% 到 115%,但随着编码器变快,预填充/解码一侧成为瓶颈。跨编码器复用则给出一次受控实验:6 块 H20、InternVL3_5-38B-HF、2 个编码器加 4 个预填充/解码实例,128 个请求共 512 张图被重新分配以制造本地未命中,共享复用把重复编码从 512 次降到 0,P50 和 P90 首 token 时间分别从 1.209 秒、1.656 秒降到 0.819 秒、0.891 秒。官方写明这是单次、且每张图都被改派的最佳情况,生产环境中的节省取决于复用频率,以及存储本身的内存和输入输出成本。
开始使用方面,官方建议先用 E+PD 验证交接,再考虑把解码再拆出去,并在文档和博客中提供了 Mooncake 与 NIXL 的入门脚本。博客也列出尚未完成的工作,包括可观测性、更多传输和缓存后端,以及如何避免在预填充侧已能复用时仍做一次编码。