GitHub 详解 Git 存储迁移 Azure:按引用加锁让写吞吐提升 3–4 倍,对象存储支撑按需扩展读副本
GitHub 称 99.99999% 的仓库已同时存放在自有数据中心和 Azure;为迁移最繁忙的剩余仓库,它把写入仲裁从整库锁改为按引用串行,并引入以 Azure Blob Storage 为后端的“虚拟副本”来独立扩展读取。
GitHub 10 月 21 日在工程博客发布《The bridge to agent-scale Git infrastructure》,介绍其 Git 存储从自有数据中心迁往 Azure 的最新进展。GitHub 表示,过去一年 Git 流量呈指数级增长,同期 99.99999% 的仓库已开始“同时住在两个地方”:GitHub 自有数据中心和 Azure。剩下极少数仓库是平台上最繁忙的一批,挡住它们的只有一件事:约 25 毫秒的跨区域往返时延。
GitHub 把迁移的节奏和方式归因于“智能体化转变”:流量快速增长、自有数据中心及所在区域的电力容量存在硬上限,以及硬件供应链约束。为了控制风险,团队选择先迁移数据、再演进架构。第一份仓库副本于 2025 年 8 月落地 Azure 美国中部区域;目前多数仓库的五个副本中已有两个在 Azure,Azure 承担了约一半的 Git 流量。
**问题出在写入。**在现有的 Spokes 架构中,仲裁只需多数副本确认即可提交,但会等待所有健康副本响应(直到超时),而且每次写入都持有整个仓库范围的锁。Azure 副本距离 GitHub 数据中心约 1,000 英里,单次往返约 25 毫秒,一次写入又需要多次往返,最慢的副本因此决定了整库的写吞吐上限。
GitHub 的解法是把仲裁范围从整个仓库缩小到单个引用(reference)。Git 的一致性要求本就是针对每个引用的,不同分支之间的更新通常互不依赖。改为按引用串行后,只有竞争同一引用的写入才需要排队,智能体和开发者向各自分支推送时可以并行。GitHub 称,在接近真实流量的内部测试中,写入不同引用的吞吐稳定提升 3–4 倍,时延也更低。
flowchart TB
subgraph 旧方式
A1[写入 A] --> L[整库锁<br/>单队列]
A2[写入 B] --> L
A3[写入 C] --> L
end
subgraph 新方式
B1[分支 a 写入] --> R1[引用 a 串行]
B2[分支 b 写入] --> R2[引用 b 串行]
B3[分支 c 写入] --> R3[引用 c 串行]
end
**读取则走向独立扩展。**GitHub 称多数仓库每次写入对应 100 到 1,000 次读取。下一步是让对象存储成为仲裁的特殊成员,即“虚拟写副本”:它是第一个完全无状态的节点,把写入流式写进 Azure Blob Storage,只有写入在对象存储中持久化后才会确认,并把不同引用上的事务合并成一组网络 I/O。在此之上,可以按需扩出任意数量的虚拟读副本,它们从 Blob Storage 预热缓存后直接承接读流量,不加入仲裁。GitHub 称,内部压测工具在现有架构上经常先碰到系统上限,而在虚拟读副本上则是压测工具自己先到了极限。
GitHub 也坦言,虚拟读副本目前在后台与对象存储对账,还不适合所有读取场景;写吞吐的下一个瓶颈仍是仲裁本身。系列文章的最后一篇将在下周的 GitHub Universe 期间发布,介绍最终架构。对依赖 GitHub 承载 CI 扇出和大规模智能体并发提交的研发团队而言,这组改动直接关系到繁忙仓库在高并发写入下的稳定性。
The bridge to agent-scale Git infrastructure
As traffic grew exponentially, we moved 99.99999% of GitHub's Git repos to Azure. A new write path moves the last, busiest repos, keeps cross-region round trips from capping throughput, and enables stateless Azure Blob Storage replicas. https://t.co/arMfnIfx0o