理应资讯
软件研发智能化

OpenAI Habitat 存储平台(下):与 Azure Cosmos DB 共管多租户,全球读延迟约降 12 倍

理应编辑室 ·

OpenAI 技术博客系列下篇介绍在线存储平台 Habitat 如何与 Azure 共管 Cosmos DB:从单租户容器摇摆回默认多租户,叠加热键限流、QoS 与改进无服务器模式,并将全球读 p50 从约 120ms 降到约 10ms。

Habitat 是 OpenAI 为产品提供毫秒级数据访问的在线存储平台,需服务逾 10 亿用户、约 40 个地理区域,并承载数百 PB 级数据。系列上篇讲服务形态演进;本篇聚焦底层 Azure Cosmos DB 扩缩与全球读优化。

多租户路径走过三轮:先依赖 Cosmos 原语(逻辑分区键冲突、物理分区吵闹邻居、随存储增长变“弱”的分区吞吐);再为关键负载拆单租户容器,却把容量规划摊给各产品组,上线日临时加 RU 频发;最终与 Azure 共建共享租户能力——优先限流热键、按 QoS 降级离线负载、改进无服务器模式使物理分区可按 RU 与存储分裂并冲到约 10K RU/s——从而回到默认共享容器,数月内未再出现供应或吵闹邻居事故。

规模上,最大 Cosmos 账户存储达数十 PB、峰值逾 2000 万 QPS。区域断电与回切时的故障暴露了“托管服务在极端规模下不再完全托管”:双方改为共管测试、仪表盘与值班通道,并改进网关元数据保护、连接复用与 VPC 隔离。

性能上,Habitat 请求逾九成是读。策略包括:有容量时就近存放;仅对认证元数据等极小且极敏数据集做广域复制;其余靠贴近计算的 Valkey 旁路缓存,并用 Cosmos change feed 做类 TAO 的全局失效;再将服务层用 Rust 重写降代理开销。合起来全球读 p50 从约 120ms 降到约 10ms(约 12×)。CDC 平台则把跨账户/容器的变更捕获抽象成“注册回调即可”,支撑缓存、二级索引与分析。

展望中提到正在自研面向笨重对象的 EB 级在线存储(RocksDB Cloud 核心 + Raft),以降低闪存占用换取峰值 QPS。对建设全球 AI 产品存储的团队,这篇给出的不是单点技巧,而是可靠性→性能→效率的优先级与和云厂商共工程的现实。

# OpenAI# Habitat# Cosmos DB# 存储# 多租户