VS Code 1.143 预览 Compare Models:同一提示并行跑多模型与智能体并评分
有开发者称 VS Code 1.143 带来 Compare Models 预览:同一提示可在多个模型与智能体运行时并行执行、各占独立会话,并用 Judge 模型评分与汇总结果,方便对比编码智能体。
开发者 @JayaNayak21 介绍称,VS Code 1.143 让对比 AI 编码智能体更容易:新的 Compare Models 预览支持把同一条提示并行丢给多个模型与智能体运行时;每次尝试使用独立会话;再用 Judge 模型对结果打分,并做 Synthesize(汇总)。对正在在 Copilot、本地编码助手与第三方 agent 运行时之间做选型的团队,这把「口感对比」收成编辑器内可重复的实验,而不是散落在多个聊天窗口里的截图。
需要注意证据边界:本轮依据是该开发者帖文中的功能点列举,完整发行说明、命令入口、默认是否开启以及 Judge 模型如何配置,应以 Microsoft / VS Code 官方 1.143 发行说明为准。若你本地已升到 1.143,可先在发行说明或命令面板中检索 Compare Models 相关预览开关,再在同一仓库上准备一小套带验收标准的提示(跑测试、复现缺陷、改配置)做并跑。
对「同一仓库、同一提示、多 runtime」的评测场景,并行会话加裁判模型比口头争论更可审计;也要防止 Judge 偏好某一种文风——评测集最好自带可执行验收,而不是只看自然语言评分。把 Compare Models 当成实验台,而不是最终的能力排行榜,会更稳妥。
VS Code 1.143 Compare Models preview
VS Code 1.143 is making it easier to compare AI coding agents. 🤩🔥
The new Compare Models preview lets you:
• Run the same prompt across multiple models and agent runtimes in parallel. • Give each attempt its own session. • Use a Judge model to score results and Synthesize https://t.co/oxwY58AMR2