企业经营智能化
SageMaker AI 端点自动扩缩与 CDK:用自定义资源在更新前注销、就绪后重注册可扩展目标
更新已注册 Application Auto Scaling 的 SageMaker AI 实时端点时,CloudFormation/CDK 常失败或静默丢扩缩。AWS 示例用可复用 CDK 构造与自定义资源,在端点更新前后自动注销并重注册扩缩策略。
在 SageMaker AI 实时端点上挂载 AWS Application Auto Scaling 后,若再改实例类型、实例数或环境变量,经 CloudFormation / CDK 部署常会踩坑:SageMaker 要求先注销可扩展目标才能改变体;若手工注销后只改端点配置,模板里未变的扩缩资源可能不会重注册,端点会在无报错的情况下失去自动扩缩;若同时改扩缩参数,还可能因资源已不存在导致更新失败甚至回滚失败。
AWS Machine Learning Blog 给出可复用 CDK 构造:用三个 CloudFormation 自定义资源替换原生 ScalableTarget / ScalingPolicy,并以显式依赖保证顺序——
- Deregister:在端点更新前注销可扩展目标(首次部署无目标时忽略 ObjectNotFound)。
- Endpoint update:由 CDK 正常更新端点配置。
- Register Scalable Target:等待端点进入
InService后再注册目标(异步完成模式,最长约 1 小时)。 - Attach Scaling Policy:待目标可查询后挂上目标跟踪策略(最长约 15 分钟)。
各自定义资源通过 ConfigHash 把端点与扩缩参数绑在一起,任一变更都会触发完整编排。异步 Provider 使用 on_event + is_complete 轮询,避免单次 Lambda 超时。示例仓库 sample-sagemaker-endpoint-autoscaling 可用 YAML 配置端点镜像、模型包与 min/max/target/cooldown,并支持把构造嵌入既有 CDK 栈。
对企业 ML 平台而言,这意味着可以把“改实例规格”和“保持自动扩缩”收成一次部署,减少手工 CLI 与 SEV 室里的临时扩容。