摘要：
受DRAM供应持续紧张影响，AI行业正从“算力受限”转向“内存受限”。据报道，Google已经开始拆解退役服务器，回收其中仍可使用的DDR4内存模块，并将其重新用于部分新建的AI服务器，逐步建立起一条内部内存回收供应链。
Google供应链基础设施高级总监尼基尔·切里安近日在一次峰会论坛上透露，高性能内存目前约占一台AI服务器物料清单成本的75%。为了突破内存瓶颈，Google正在同时推进软件和硬件层面的解决方案，其中包括拆解退役服务器并回收可用组件。
Google甚至专门设计了硬件适配器，使DDR4等前几代内存方案能够连接到新一代AI服务器中。切里安还承认，Google目前会专门重新调回部分退役服务器，仅为拆取其中的DDR4内存模块。
与此同时，Google也在持续优化底层函数库、模型架构以及KV缓存压缩技术，以降低单位算力所需的内存容量。
Google今年推出了两种TPU ASIC版本，其中TPU8t主要用于AI模型训练，TPU8i则针对推理任务进行了优化。为消除性能瓶颈，TPU8i采用了高度定制化的多层内存设计。
每颗TPU 8i芯片配备288GB HBM3e内存，可提供每秒8.6TB的超高内存带宽。芯片还集成了384MB片上SRAM，用于存储活跃的键值缓存，从而避免频繁访问外部系统内存。
在服务器主机部分，TPU 8i服务器完全取消了传统的x86主处理器，改用Google自主定制、基于Arm架构的Axion处理器。Axion处理器依赖高速DDR5内存架构，主要负责数据预处理等主机级任务。
不过，结合切里安的最新表态来看，Google似乎已经在部分新型AI服务器中使用较老的DDR4内存，以替代原本应配备的DDR5模块。具体涉及的服务器范围和DDR4模块数量目前尚未公开。
评论