这两年大家都在卷 GPU 算力，仿佛谁的卡多谁就赢。但 SK hynix 最新一篇由 KAIST 教授署名的深度文章泼了盆冷水：到了推理和 Agentic AI 时代，系统性能的瓶颈已经从“算得多快”转向“数据放哪、动得多快”。对做存储采购的人来说，这直接决定了你该囤什么、什么时候囤。
一、GPU 神话破灭：算力再强，数据到不了也白搭
文章点破一个错觉——理论算力不等于真实 AI 性能。“不管系统里堆了多少计算设备，只要数据不能准时到达，性能就发挥不出来。”瓶颈正从 GPU 的算力能力，转移到数据的位置和搬运路径上。
二、内存墙成真：GPU 一半以上时间在“等数据”
1994 年就有学者警告“内存墙”，30 年后在实时大模型服务里应验了。最新 AI 加速器算力已达 PFLOPS 级，但内存交付速度跟不上，计算单元大量时间干等。文中直言：用户查询时，GPU 超过一半的工作量花在“搬数据”而不是“算数据”。
三、KV Cache 吃掉 140GB：长上下文把显存撑爆
长上下文 + Agentic AI 让 token 生成量暴涨，KV cache 内存需求在某些场景超过 70B 模型权重本身（约 140GB）。FlashAttention、PagedAttention、量化这些软件优化有效，但已逼近极限——TurboQuant 把 KV cache 从 16 位压到 3-4 位，内存降到约 1/5，可再往下压就会丢信息。
四、解法殊途同归：HBM、HBF、CXL、PIM 都在做同一件事
无论 HBM（堆叠 DRAM die 用 TSV 给 GPU 高带宽）、HBF（介于 HBM 和 SSD 之间的新一代 NAND 层，容量更大、成本更优）、CXL 还是 PIM（存内计算），本质都是一句话：别让数据跑那么远，让计算靠近数据。文章最后抛出一个判断——下一代 AI 基础设施的竞争力，取决于谁能把内存布局和计算结构协同设计。
采购建议：HBM/HBF 不是“锦上添花”，而是推理时代的基础设施刚需。如果你服务的是云厂、AI 一体机或大模型应用方，HBM 供给和价格就是你的成本命门；HBF 一旦成熟，会是介于 HBM 与 SSD 之间的高性价比新层，值得提前跟踪。