面对 “算力狂奔、存储滞后” 的行业困局,**“以存强算”** 成为技术创新主流范式 —— 通过存储架构革新,释放算力潜能、降低成本、提升效率。
核心路径:
-
KV 缓存分层卸载:将大模型推理的 KV 缓存从 GPU 显存转移至高速 NVMe SSD,用 **1%硬件成本实现90%** 相近性能
-
智能冷热数据调度:热数据放全闪 / 内存,温 / 冷数据放大容量 SSD/HDD,兼顾性能与成本
-
RDMA + 三网分离:用 RoCE、RDMA 协议让数据绕开 CPU,端到端时延压至微秒级
-
全局命名空间:打通跨地域、多云存储,实现数据 “一点写入、全球访问”
实践成效:
辽宁移动 “智存强算” 方案,在 5 万词元超长上下文场景中,
首 Token 生成时间降 68%,吞吐量升 179%,推理成本省
50%-90%。这证明:
存储优化比单纯堆算力,性价比更高。