理应资讯
软件研发智能化

Shopify 重建 Overexposed:用云库存与匿名探测查清公网暴露面

理应编辑室 ·

Shopify 工程团队公开重建内部扫描器 Overexposed:先查 GCP 云资产库存中的 GKE Ingress 与 Cloud Run,再做匿名探测,把公网暴露面变成可复核判定。

Shopify 工程博客由 Simar Singh 与 Bernadette Aquino 撰文,介绍内部扫描器 Overexposed 为何推倒重来。团队要回答的问题很具体:哪些应用对公网可达,哪些入口允许未登录访问,以及这种公开是否符合已审核策略。应用散落在多团队与多种云服务上,配置又会随发布变化,只靠人工点名很容易漏。

第一版扫描器从基础设施仓库读取 Kubernetes Ingress,挑出挂在公网主机名且看不到鉴权设置的对象,再发真实请求。三条失败路径很快出现。有的团队把代理鉴权写在注解里,扫描器不识别,于是把已保护的应用当成暴露。准入控制器会在接纳 Ingress 时改写设置,却又不在每个集群运行,仓库里看起来正确的配置在部分环境等于没生效。还有一批 Ingress 来自其他仓库或平台工具,根本不在扫描清单里。作者把结论写得很干脆:仓库只说明意图,集群才说明真正落地的规则。

重建后的 Overexposed 改走云侧事实。定时任务调用 GCP Cloud Asset Inventory,按组织、文件夹或项目范围搜索已接纳的 networking.k8s.io/Ingress 与 run.googleapis.com/Service,再用第二次查询拉取访问策略,不再依赖集群凭证去读本地清单。库存还带回许多第一版从未覆盖的 Cloud Run 项目,扫描面随之扩大。对每个候选,扫描器只发一次匿名请求:先 HEAD,被拒再用 GET;不自动无限跟随重定向,最多三次并逐跳检查;若只有 /admin 受保护,还会试 /ADMIN 等大小写变体,因为路径规则可能区分大小写。

判定不是单一状态码字典。结果归入 exposed、expected、protected、not found、unreachable、inconclusive。expected 表示匿名访问成功,但主机与路径精确命中审核过的白名单;白名单写在代码里以便评审,却不会跳过探测——若入口已改为需登录或消失,会标成白名单过期。Ingress 上的 404 多半表示代理已应答且路径不存在;Cloud Run 上的 404 可能来自前端网关,未必触及应用鉴权,因此常标 inconclusive。403 也不直接等于已保护。对 Cloud Run,团队区分网络入站与 IAM:陌生人可调用,通常要求 allUsers 持有调用者角色,或关闭调用者检查;仅“允许全部流量”但调用者受限时,外部只会看到 403,不应记成暴露。挂在负载均衡后的服务则读取 URL map,看路径落到哪个后端,以及是否要求 Identity-Aware Proxy。

因为探测目标是任意主机名,SSRF 风险被单独处理:解析出的每个地址都要校验,拒绝私网与回环;连接打到已核验 IP,避免二次 DNS 把流量拐走;每次重定向前复检;同时建议限制扫描器出站,挡住云元数据地址。落库只保留判定、理由、配置要点与归属团队,不存响应体或凭据。早期一次运行里约四分之三 Ingress 结果是 inconclusive。团队按原因归类,在证据够时补上 not found、unreachable 等更可行动的判定,并在改规则前用历史扫描回放对比每一条变化;几周内把 Ingress 的 inconclusive 比例降了约八成。开发上他们使用 AI 编程代理与 AI 代码评审提速,又用变异测试和按判定准备的金丝雀目标,防止“测试通过却测错对象”。

对平台与安全负责人,可迁移的不是某一个开源安装包——文章没有把 Overexposed 作为对外产品发布——而是工作方法:配置文件适合做 CI 早信号;覆盖跨仓与跨项目盲区要靠云库存;库存只说明可能暴露,匿名可达还要靠受控探测;证据不足就保持 inconclusive,而不是默认 protected。InfoQ 同日报道复述了上述机制,并把它与只看 allUsers 绑定的规则型检查、以及 Cartography 一类库存图工具做了对照,强调探测与白名单证据链补上了“外人究竟看得到什么”这一环。

参考资料

  1. Building Overexposed: understanding application exposure · Shopify Engineering
  2. Shopify Overexposed Scans GKE Ingresses and Cloud Run for Exposure · InfoQ