Dharma-AI 公布 VocabX:为专用小模型重建词表,作文批改模型推理成本降 77%
Dharma-AI 在 Hugging Face 博客预告 VocabX 方法:按每个 token 的服务成本而非出现频率重建专用小模型词表,其基于 Qwen3-4B 的葡语作文批改模型平均输出从 350 个 token 降到 101 个,实测推理成本下降 77.0%。
Dharma-AI 团队 10 月 21 日在 Hugging Face 博客发文,预告即将发表的 VocabX 论文部分结果:在不更换基础模型的前提下,通过重建词表,把一个生产环境中的专用小模型推理成本降低了 77%。作者强调,文中数字来自仍在评审中的论文当前版本,发表前可能调整。
案例是团队在线上运行的葡萄牙语作文自动批改系统,基于 Qwen3-4B 微调,输入作文、题目和辅助材料,输出包含各项能力评分与评语的 JSON。问题在于它沿用了 Qwen3-4B 原生词表:这个词表为多语言、多类型文本设计,而批改任务只用一种语言、一种输出格式。结果是每次请求都要用更多 token 写出固定的 JSON 外壳和评价用语,并且每生成一个 token,模型都要对 151,669 个词表条目打分。
作者指出,“读便宜、写贵”:预填充阶段一次性处理输入,受算力约束;解码阶段逐个生成 token,受显存带宽约束。在他们测得的场景里,生成一个 token 的成本是读取一个 token 的 7.4 倍。因此 VocabX 不按频率挑选新 token,而是把每个被消除的 token 乘以所在字段(系统提示、用户消息或模型回复)的价格来计算收益,并同时在子词层和多词层操作:子词层重切领域词汇,多词层把整行、整句乃至 JSON 外壳等反复出现的长片段合成单个“宏 token”。为找到这些片段,方法使用了五种挖掘器,还对样本中看不到的候选做统计估计,在合同语料上让 token 缩减率从 44.7% 提升到 52.8%。
在批改模型上,团队用相同基础模型、数据、训练配方和随机种子训练了七个只差词表的版本,在同一台 RTX 5090 与 vLLM 环境中跑 500 个请求。结果是:平均输出从 350 个 token 降到 101 个,推理成本下降 77.0%,综合评分从 0.703 升至 0.810;输出层从约 15.2 万行缩小到约 6.5 万行。中途也有教训:最初把各项分数和 JSON 结构合成同一个宏 token 最省,但评分降到 0.689;把分数拆成独立 token 后每次多 2 个 token,质量反而升到 0.810,成本降幅也从 73.3% 变为 77.0%。
在合同、医学论文、科学论文、新闻和 Python 代码五个公开领域,以及 Qwen3、Llama-3.1、Gemma-3 三个模型家族的 15 种组合中,作者称 VocabX 的压缩率均高于最强的对照方法 1.2 到 9.3 个百分点。对部署专用小模型的工程团队来说,这提供了一个常被忽视的降本方向:词表也可以针对场景定制,但前提是保住承载关键决策的 token。