理应资讯
软件研发智能化

谷歌开源 ML Drift:跨平台 GPU 引擎加速端侧推理

理应编辑室 ·

谷歌开源 Apache-2.0 的 ML Drift:面向端侧 AI 推理的跨平台 GPU 计算引擎,抽象 OpenGL ES、OpenCL、Metal 与 WebGPU 等差异。

手机、浏览器与嵌入式设备上的推理,经常被「同一模型、多种 GPU API」卡住:OpenGL ES、OpenCL、Metal、WebGPU 各写一套内核,维护成本很高。据 InfoQ 报道,谷歌开源 ML Drift(Apache-2.0),定位为面向端侧人工智能与机器学习推理的跨平台 GPU 计算引擎,用来抽象不同 GPU 硬件与底层 API 的差异,并覆盖上述常见图形与计算接口。

对要在多终端部署视觉、语音或小参数量语言模型的研发团队,统一计算引擎有望减少按平台重写算子的工作量,把精力放回量化、调度与产品体验。Apache-2.0 许可也便于嵌入商业应用。不过算子覆盖、数值精度、驱动差异与功耗表现仍需在目标机型上抽样验证,不能只看桌面开发机数字。

上游路线图、示例模型与基准数据以官方仓库为准。本稿依据 InfoQ 报道摘要整理,未在真机跑通示例;端侧性能强烈依赖具体芯片与系统版本,上线前应做回归清单。

对 WebGPU 路径,还要额外确认浏览器版本覆盖与软件渲染回退策略,避免少数用户直接白屏。

# ML Drift# 端侧# GPU# 谷歌# 开源