商汤开源 SenseNova-Loop-9B-Preview:用循环计算加深约 9B 多模态模型
商汤宣布开源日日新循环多模态预览模型,约九十亿参数面向长上下文与智能体,权重公开并可按官方环境部署试用。
商汤在 10 月 30 日宣布开源日日新 SenseNova-Loop-9B-Preview。官方介绍称,这是一次面向下一代架构的探索:用 Looped Transformer 在约 9B 参数规模下拉长有效计算深度,并尝试把信息在循环路径里传得更稳。模型权重按 Apache 2.0 放在 Hugging Face,配套说明与示例代码在 OpenSenseNova 的 GitHub 仓库。
它接收文本和图像,输出文本,面向长上下文与智能体工作流,例如文档理解、编程和外部工具调用。Hugging Face 与仓库说明写明:主干约 9B 参数,推理侧因循环执行约 14.6B 量级;训练上下文最长 262144 个 token;导出以 BF16 为主,mHC 路由参数为 FP32。架构上,解码器共 32 个独立层。输入先过第 0 到 3 层,中间第 4 到 27 层共享权重连跑两遍,再由第 28 到 31 层和输出头收尾。这样一次前向要完成 56 次层计算,但只需存 32 套层权重。循环段里还用双流流形约束超连接管理两条残差流,并用 20 次迭代的 Sinkhorn 归一化约束流间混合;注意力按四层一组,三层线性注意力加一层全注意力交替。公开配置还给出隐藏维度 4096、前馈维度 12288、词表约 248320,以及全注意力 16 头、键值 4 头。
商汤在官方文中给出自家评测口径:在代码生成、办公与智能体等方向相对其他模型更好,并在 WorkBuddy Bench、RaccoonPPT Bench、AutomationBench 等设置下超过 Qwen3.5-27B。消融实验称加入 mHC 后,GPQA Diamond 和 TeamBench 分别提高 4.42 分和 13.34 分。这些数字来自厂商当前评测设置,不是第三方复现报告。技术报告仍标为待公布;Transformers 自定义实现需开启远程代码信任,已核对环境写明 Transformers 5.18.0 与 PyTorch 2.11.0(CUDA 13.0)。推理加速方面 MTP 可用,Dspark 与 Dflash2 仍在训练。部署示例覆盖 LightLLM 多卡服务,以及带相关改动的 SGLang 构建。
对公司研发与应用团队,价值在于可以用更小参数体量试跑长上下文多模态和工具轨迹,而不必先上更大稠密模型。常见路径是:先按官方依赖拉权重做单机冒烟,再在自有办公或智能体评测集上对照现有 7B 到 30B 基线,最后才决定是否进生产队列。公开材料没有给出统一云单价或服务等级协议;基准分数依赖任务与解码设置,不能直接外推到任意业务库。更大参数上的扩展、自适应迭代次数等,官方也写明仍在继续探索。训练配方已公开写到文本、图像、代码与工具轨迹的组合,最长序列到 256K token,但具体数据配比与复现脚本仍以待公布技术报告为准。
参考资料
- SenseNova-Loop-9B-Preview model card · Hugging Face / SenseNova
- SenseNova-Loop README_CN · OpenSenseNova GitHub
- 商汤开源 SenseNova Loop-9B-Preview:探索以计算深度释放模型潜力 · 商汤SenseTime(新浪转载官方稿)
- 商汤开源 SenseNova Loop-9B-Preview,宣称媲美 27B 参数大小模型 · IT之家