理应资讯
软件研发智能化

SGLang Day-0 接入 MiniMax M3.1 Flash:单请求解码逾 1K tok/s

理应编辑室 ·

SGLang 与 MiniMax、NVIDIA、AMD 等合作,在 Day-0 支持 MiniMax M3.1 Flash(Space Bunny):bs1 解码逾 1K tok/s,覆盖 Blackwell/Hopper 与 MI350 系列,并提供投机解码与智能体高并发服务指标。

开源推理框架 SGLang 宣布对 MiniMax M3.1 Flash(又称 Space Bunny)提供 Day-0 生产可用接入。帖文给出的关键数字包括:单批次大小为 1 时解码速度 >1K tok/s;在 AgentX 编码智能体轨迹、96 路并发会话下,单 GPU 总吞吐约 100K tok/s;MegaKernels 使单请求解码提速约 2.15×。

硬件覆盖写明 NVIDIA Blackwell / Hopper(含 GB300、B300、B200、H200)以及 AMD Instinct MI350X / MI355X。投机解码支持 MiniMax 的 DSpark draft,以及由 radixark 训练的 DFlash2 draft,并支持 HiCache 与多模态输入;也可配合 Miles 做强化学习。合作方包括 MiniMax、NVIDIA AI、AMD 与 radixark。

MiniMax 侧同步公开权重信息(转述):总参数约 428B,每 token 激活约 23B,并给出 BankerToolBench、DeepSWE、OSWorld 等智能体相关分数。对软件研发智能化来说,这是把新一代 Flash 模型直接送进可水平扩展的服务栈;具体能否在自有集群复现上述 tok/s,仍取决于卡型、并发与投机解码配置。

flowchart LR
  A[MiniMax M3.1 Flash 权重] --> B[SGLang 运行时]
  B --> C[NVIDIA Blackwell/Hopper]
  B --> D[AMD MI350X/MI355X]
  B --> E[投机解码 DSpark/DFlash2]
  B --> F[智能体高并发服务]

落地时建议把官方给出的 tok/s 当作在特定并发与卡型上的标称值:bs1 低延迟与 96 会话总吞吐是不同优化目标,生产路由需要分开压测。Day-0 接入降低了「等社区补丁」的等待,但驱动、量化与投机解码草稿模型的版本矩阵仍要自己钉死。对编码智能体网关而言,可先在小流量用 AgentX 类轨迹回归,再放大并发。

# SGLang# MiniMax# M3.1 Flash# 推理# 编码智能体