理应资讯
软件研发智能化

AWS 详解在 Trainium 上用 torchtitan 训练 Qwen3:三种方式共用同一启动流程,可直接读写 Hugging Face 权重

理应编辑室 ·

AWS 机器学习博客演示在单台 trn2.48xlarge 上用 torchtitan 训练 Qwen3 的三种方式:Transformers v5 建模后端、torchtitan 原生 Qwen3、NKI 混合专家内核,并可通过覆盖注册表挂载自定义 NKI 内核。

AWS 机器学习博客 10 月 21 日发布技术教程,介绍如何在 AWS 自研训练芯片 Trainium 上使用 PyTorch 官方的大模型训练框架 torchtitan 训练 Qwen3。核心变化在于:TorchNeuron 把 Trainium 注册为 PyTorch 的原生设备(neuron),torchtitan 启动时即可识别,开发者可以沿用熟悉的 PyTorch 接口和 torchrun 启动方式,从随机初始化预训练,或在已发布权重上微调。

教程在单台 trn2.48xlarge 实例上演示,该实例有 16 颗 Trainium2 加速器、128 个物理 NeuronCore,在 LNC=2 设置下呈现 64 个逻辑 NeuronCore,对应 64 个训练进程。示例使用的版本为 torch 2.14.0、torch_neuronx 2.14.3、transformers 5.16.0,以及 torchtitan-neuron release-2.33。

三种训练方式:

  1. Transformers v5 作为建模后端:通过 AutoModelForCausalLM 直接使用 Hub 上的 Qwen3 模型定义,可直接读写已发布的 safetensors。AWS 的验证运行中,从已发布权重开始时第一步损失为 6.54,随机初始化则为 12.43,可用来快速确认权重已正确加载;导出的检查点能被标准方式加载。
  2. torchtitan 原生 Qwen3:只需修改 config.model_spec 即可切换到 torchtitan 自带的 Qwen3 实现(示例使用 SDPA 注意力)。
  3. NKI 混合专家内核:使用 torchtitan-neuron 配方中的 NKI(Neuron 内核语言)分组专家实现,示例把 Qwen3-30B-A3B 缩减为 4 层、64 个专家、每个 token 路由到 4 个专家,以便在单机上运行。
flowchart TB
  L[同一套 torchrun 启动方式与配置结构] --> A[方式一:Transformers v5 后端<br/>直接读写 HF safetensors]
  L --> B[方式二:torchtitan 原生 Qwen3<br/>修改 model_spec]
  L --> C[方式三:NKI MoE 内核<br/>torchtitan-neuron 配方]
  C --> D[覆盖注册表挂载自定义 NKI 内核]

教程还演示了如何借助 torchtitan 的覆盖注册表接入自定义内核:以 nkilib 中的 rope_hf 旋转位置编码内核为例,用 wrap_nki 和 nki_op 把它注册为 PyTorch 算子并挂上反向传播。AWS 强调该示例用于演示内核注册与自动求导集成,并非性能优化;在 float32 数值测试中,该内核与 PyTorch 原实现的最大绝对误差为 0。

对模型训练团队而言,这篇教程的价值在于降低了迁移成本:配置、检查点格式和并行策略(FSDP、张量并行等)都与 GPU 上的 torchtitan 用法保持一致。不过,教程没有给出与 GPU 的吞吐或成本对比,是否值得迁移仍需各团队按自身模型规模实测。

# AWS Trainium# torchtitan# Qwen3# NKI# 模型训练