OpenAI 公开 Pando:为 Codex 并发规模自研的 Git 兼容后端
OpenAI 于 11 月 2 日发文介绍自研 Git 后端 Pando:在保留工程师与智能体既有用法的前提下,把单仓中位推送延迟降到约原来的五分之一,并按日吞吐近 PB 级 Git 数据。
OpenAI 工程团队在 11 月 2 日公开了名为 Pando 的自研源码后端。文章写明,随着 Codex 让工程师并行改动增多,公司单仓上的推送、合并与拉取一度吃紧,后端可靠性有时掉到九成以下。团队选择继续兼容 Git 协议与客户端,而不是换一套全新客户端,让人和智能体仍用熟悉的分支与推送流程。
Pando 主要改两件事。一是按分支独立协调引用更新,互不相关的分支可以并行推进,代价是跨多个分支读取时,不一定看到整仓同一时刻的快照。二是复用已写入的 packfile,而不是为每个拉取客户端现场重打包,从而把读路径压到缓存与网络带宽上。官方称生产环境里中位推送延迟大约降到原来的五分之一,系统按日可交付近 1 PB 的 Git 数据;峰值举例是单小时发出逾 57 TB 的 pack,其中逾 99% 来自本地磁盘缓存。
实现上,推送时把入站 pack 校验后写入对象存储,并在元数据里记下分支 tip、依赖与 pack 位置;默认只向推送方广播主干作为基线,便于后续客户端复用同一 pack。拉取则通过 Git 的 packfile-uri 返回可下载链接,由名为 Express 的区域缓存服务分发。后台再按类似日志结构合并树的方式,把大量 L0 小 pack 压成更高层级的封面,缩短“落后很多次推送”时的协商成本。文章对比了他们评估过的整仓三阶段提交与共享预写日志两类常见扩容路径,指出在高并发分支写入时,前者容易把磁盘与协调回合摊到推送路径上,后者则让无关分支仍竞争同一份清单;Pando 把竞争收窄到单条引用的原子更新,并把协商服务与数据投递拆开扩展。
构建与迁移路径也写得很具体。Pando 用 Rust 自研,约十周从立项走到生产,设计由一名工程师牵头、Codex 智能体团队实现,今年四月起承载流量。初期以读写穿透代理方式与旧系统并存,再逐步切流量;公司还向开发机和 ChatGPT 桌面端分发自有 Git 构建,并用内部包装层分批迁移集成。OpenAI 同时把若干客户端与协议改进回馈上游 Git,包括对 packfile-uri 并发下载、中断清理与恢复路径的修补,以及并行下载索引、explicit haves 等仍在公开补丁跟踪器里的改动。Pando 后端本身并未开源,文中只表示正在探索如何把相关能力提供给用户。
The New Stack 同日报道强调,与 Anthropic 自研替代方案不同,OpenAI 明确选择留在 Git 生态内,并把瓶颈判断为“服务单仓的方式”而非协议本身。文中还转述官方关于提交量大幅上升的背景,用来解释为何版本库成为智能体研发的真实约束。对平台与研发负责人来说,这篇材料的价值在于把高并发推送下的架构取舍写清楚:放宽整仓一致性、复用 pack、横向扩展元数据与对象存储。落地条件仍是 OpenAI 内部生产经验;公开数字来自厂商自测,未提供可复现基准。外部团队若只借鉴思路,仍需按自有单仓规模、分支模型与合规要求评估,且目前拿不到可直接部署的 Pando 发行版。
参考资料
- Scaling Git at OpenAI · OpenAI
- OpenAI built itself a new Git backend, too · The New Stack