理应资讯
软件研发智能化

TensorRT 11.1 Global Performance Tuner:把调度策略做成可搜索构建路由,十项负载提速约 1.14×–1.63×

理应编辑室 ·

NVIDIA 技术博客系列第二篇详解 TensorRT 11.1 的 Global Performance Tuner:用 200+ 编译旋钮组合为构建路由,在精度约束下按端到端性能择优;评测十项负载相对默认路由提升约 1.14 倍至 1.63 倍。

部署已训练网络不只是把算子落到 GPU kernel,而是带有多条合法答案的编译问题。NVIDIA TensorRT 11.1 引入的 Global Performance Tuner,把替代调度策略显式表示为可搜索的构建路由(build route)——每条路由是一组编译旋钮取值;不指定时使用全部默认旋钮的默认路由。

TensorRT 暴露 C++ API:setBuildRoute / getBuildRoute 应用与查看当前路由,getAllBuildRoutes 发现可调配置空间(文档称超过 200 个旋钮)。trtexec 实现调优循环:把类正则路由表达式展开为候选 → 逐条构建并测精度与性能 → 丢弃崩溃或未过精度者 → 选最快合格引擎。Python 侧同等实现计划随 Torch-TensorRT 2.15 发布。

精度感知调优把角色拆开:精度决定候选是否可接受,性能在合格集中排序。用户提供参考数据与容差 ε;ε→0 时合格集收缩,ε→∞ 时几乎不过滤。文中思想实验用是否插入低精度 Q/DQ 说明“最快未必可接受”。

在十项评测负载上,相对默认构建路由,调优后的合格引擎端到端提升约在 1.14× 至 1.63×。实践建议:按搜索空间选 fast / mixed / full;先用 --dryRun 看路由列表;用 --tuningCacheFile 与 --continue 做可恢复增量实验;模型、形状、GPU 或软件栈变更后应重调,勿把旧路由当普适解。

系列 Part 1 交代调度挑战与形式化框架,Part 2 给出算法、API 与最佳实践。对推理平台团队,这意味着从“押注一条通用调度启发式”转向“在目标环境里测量并留下证据”。

# TensorRT# 性能调优# 推理# NVIDIA# 编译优化