理应资讯
软件研发智能化

ZenteiQ 用 GKE Inference Gateway 改造合成数据流水线:推理吞吐提升约 4 倍

理应编辑室 ·

印度科学基础模型初创公司 ZenteiQ 在合成训练数据生成流水线前部署 GKE Inference Gateway(基于开源 llm-d),按队列深度与前缀缓存路由请求,每 1,000 个加速器的聚合吞吐从 16,964 提升到 69,114 tokens/秒。

Google Cloud 10 月 21 日发布客户案例,介绍印度初创公司 ZenteiQ 如何用 GKE Inference Gateway 解决大规模批量推理的路由瓶颈。ZenteiQ 从印度科学研究所(IISc)孵化,入选 IndiaAI Mission,正在从零训练能理解物理定律、控制方程和数值求解器的科学基础模型。

训练这类模型需要数千亿个推理 token。除了科学文献和仿真数据,ZenteiQ 自建了一条批量合成数据流水线:先把科学种子概念扩展成提示批次,再由生成模型产出候选推理过程,由评估模型打分,最后用另一个模型家族做护栏检查,通过后打包交给 MaxText 预训练任务。由于算力配额固定,数据生成一旦落后,为预训练预留的多主机加速器集群就会空等。

ZenteiQ 原先在 Kubernetes 上用标准 ClusterIP 轮询把请求分发到 vLLM 推理端点,随着 9B 和 35B 参数模型的训练排期推进,暴露出两个问题:一是轮询看不到 vLLM 引擎队列,新请求不断被送到正在处理长推理链的繁忙节点;二是同一批提示约有 70% 到 80% 的指令上下文相同,轮询把它们分散到不同实例,每个实例都要重复计算相同的前缀。两者叠加,单次运行中的生成吞吐波动可达一半。

ZenteiQ 每 1,000 个加速器的聚合吞吐(tokens/秒) ZenteiQ 每 1,000 个加速器的聚合吞吐(tokens/秒) 轮询负载均衡 16,964 GKE Inference Gateway 69,114 数据:Google Cloud 博客(ZenteiQ 与 GKE 团队),约 4.07 倍

改造后,ZenteiQ 在 vLLM 加速器池前部署了一个基于开源 llm-d 分布式推理框架的 GKE Inference Gateway,生成、评估和护栏三类请求都经由同一个网关路由。网关持续监测各 vLLM 端点的实时队列深度和 KV 缓存利用率,把新请求发往有空闲容量的节点,同时把指令前缀相同的请求送到已有热缓存的节点,跳过重复的预填充计算。

据案例披露,在生产集群上:聚合吞吐从每 1,000 个加速器 16,964 tokens/秒提升到 69,114 tokens/秒,日产出从 14.7 亿个生成 token 增至近 60 亿;各模型池的提升幅度在 3.5 倍到 5.5 倍之间;前缀缓存命中率提高 14 个百分点。ZenteiQ 认为最重要的收获是排期可预期,验证过的数据集能按时就绪,预训练不再等数据。下一步,ZenteiQ 计划把同一套路由用于后训练强化学习和数值求解器的自动评估循环。上述数据来自客户与 Google Cloud 联合撰写的案例文章,未经第三方验证。

# GKE# llm-d# 推理网关# vLLM# ZenteiQ