OpenAI 让共享存储兼顾速度与隔离
这次进展
OpenAI 披露，Habitat 的全球读请求中位延迟从约 120 毫秒降到约 10 毫秒。这份工程复盘把请求分级、数据布局和缓存放在一起，也呈现了共享资源如何减少产品团队的容量规划负担。
核心判断AI 辅助分析
共享平台把容量分配和缓存管理集中起来，让产品团队复用工程能力。读性能改善来自数据布局、缓存与服务开销的共同优化，负载分级则让更多业务能够稳定共享资源。
事实拆解
读请求的中位延迟降到约 10 毫秒
OpenAI 10 月 23 日发布的第二篇 Habitat 工程复盘称，自今年开始集中优化性能以来，全球读请求的 p50 延迟从约 120 毫秒降到约 10 毫秒。p50 是中位数，即一半请求的耗时不高于这个值。
材料把数据就近放置、为少量关键数据增加跨区副本、集成缓存以及用 Rust 重写服务列为优化路径。这组数字衡量的是内部存储读请求，多个改造共同作用，文章没有给出每一项单独贡献的完整对照。
原始材料Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)OpenAI · Jon Lee, Hrachya Hakobyan, Chaomin Yu · 2026-10-23查看原始材料缓存靠近请求 数据变化触发失效
Habitat 将近期访问的数据副本放进靠近请求处理位置的 Valkey 缓存。底层数据库发生变化时，变更数据捕获机制会在全球传播缓存失效操作；原文将这一传播描述为秒级。之后的读取遇到缓存未命中，再从存储层取得更新版本并填回缓存。
大量复制则只用于较小且对延迟特别敏感的数据，例如身份验证元数据。原文同时说明，数据就近布局受到区域存储、供电和冷却容量限制，最慢的一些请求仍需要跨区读取未缓存的数据。
原始材料Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)OpenAI · Jon Lee, Hrachya Hakobyan, Chaomin Yu · 2026-10-23查看原始材料H/ACC 洞察
把等待顺序变成共享规则
H/ACC 编辑解读：这次改造的意义，在于让共享容量获得更清楚的分配规则。交互请求和大批量后台任务需要的服务节奏不同。先限制热点、再规定谁可以等待，能让闲置容量继续被共同使用，同时减少一个任务突然放大后拖累其他业务的机会。
因此，隔离能力也可以体现在请求如何被调度，而不只体现在为每个业务单独准备一套资源。这要求系统识别负载、执行优先级并监测异常；容量利用率与关键请求稳定性，需要在同一组压力场景里一起评估。
判断边界
- 性能与运行经历来自 OpenAI 自行披露，本篇未独立复现实验。10 月 23 日是复盘材料发布日期，不代表所有改造都在当天完成。
- 约 120 毫秒到约 10 毫秒是 Habitat 存储读请求的全球 p50，不能换算成模型生成速度或 ChatGPT 整体响应时间的同等提升。
- 秒级缓存失效传播不构成强一致读取保证；跨区未命中和区域物理容量限制仍需单独评估。
接下来观察AI 辅助分析
- 后续公开数据能否按缓存命中与未命中、同区与跨区拆分读请求的 p95 和 p99，检验中位数改善是否也覆盖慢请求？
- 在热点键与批量写入同时出现的压力测试里，交互请求的错误率和尾延迟能否保持稳定，后台任务又需要等待多久？
原始材料
本篇使用的报道和研究材料。
- Rapidly scaling online storage to serve over 1 billion ChatGPT users (Part II)OpenAI · Jon Lee, Hrachya Hakobyan, Chaomin Yu · 材料发布 2026-10-23