SGLang Day-0 接入 MiniMax M3.1 Flash:单请求解码逾 1K tok/s
SGLang 与 MiniMax、NVIDIA、AMD 等合作,在 Day-0 支持 MiniMax M3.1 Flash(Space Bunny):bs1 解码逾 1K tok/s,覆盖 Blackwell/Hopper 与 MI350 系列,并提供投机解码与智能体高并发服务指标。
开源推理框架 SGLang 宣布对 MiniMax M3.1 Flash(又称 Space Bunny)提供 Day-0 生产可用接入。帖文给出的关键数字包括:单批次大小为 1 时解码速度 >1K tok/s;在 AgentX 编码智能体轨迹、96 路并发会话下,单 GPU 总吞吐约 100K tok/s;MegaKernels 使单请求解码提速约 2.15×。
硬件覆盖写明 NVIDIA Blackwell / Hopper(含 GB300、B300、B200、H200)以及 AMD Instinct MI350X / MI355X。投机解码支持 MiniMax 的 DSpark draft,以及由 radixark 训练的 DFlash2 draft,并支持 HiCache 与多模态输入;也可配合 Miles 做强化学习。合作方包括 MiniMax、NVIDIA AI、AMD 与 radixark。
MiniMax 侧同步公开权重信息(转述):总参数约 428B,每 token 激活约 23B,并给出 BankerToolBench、DeepSWE、OSWorld 等智能体相关分数。对软件研发智能化来说,这是把新一代 Flash 模型直接送进可水平扩展的服务栈;具体能否在自有集群复现上述 tok/s,仍取决于卡型、并发与投机解码配置。
flowchart LR
A[MiniMax M3.1 Flash 权重] --> B[SGLang 运行时]
B --> C[NVIDIA Blackwell/Hopper]
B --> D[AMD MI350X/MI355X]
B --> E[投机解码 DSpark/DFlash2]
B --> F[智能体高并发服务]
落地时建议把官方给出的 tok/s 当作在特定并发与卡型上的标称值:bs1 低延迟与 96 会话总吞吐是不同优化目标,生产路由需要分开压测。Day-0 接入降低了「等社区补丁」的等待,但驱动、量化与投机解码草稿模型的版本矩阵仍要自己钉死。对编码智能体网关而言,可先在小流量用 AgentX 类轨迹回归,再放大并发。
Space Bunny: MiniMax M3.1 Flash on SGLang
Space Bunny is here! MiniMax M3.1 Flash hits >1K tok/s, bs1 decode with SGLang, production-ready from Day 0. This integration is a joint effort by @MiniMax_AI, @NVIDIAAI, @AMD, and @radixark, and you can also run RL with Miles!
- Broad hardware support: NVIDIA Blackwell and Hopper (GB300/B300/B200/H200), plus AMD Instinct MI350X and MI355X.
- Agentic serving at scale: ~100K total tok/s per GPU on the AgentX coding-agent trace with 96 concurrent sessions.
- Speculative decoding: Supports MiniMax's DSpark draft and a DFlash2 draft trained by @radixark; supports HiCache and multimodal input.
- Ultra-low-latency inference: MegaKernels deliver 2.15× faster single-request decode.
Quoted MiniMax post (summary): MiniMax M3.1 Flash weights are now public. 428B parameters total, 23B activated per token. Agentic benchmarks cited include BankerToolBench 76.2, DeepSWE v1.1 73.7%, OSWorld V2 61.7, Agents' Last Exam 29.6.