Google 宣布了第八代自研 AI 芯片 TPU 8t 和 TPU 8i，前者专为大模型训练设计，后者专为大模型推理设计。TPU 8t 拥有更大的计算吞吐量和更多的可扩展带宽去满足计算密集训练工作负载，而 TPU 8i 则拥有更多的内存带宽去满足对延迟最敏感的推理工作负载。Google 称，TPU 8t 设计将前沿模型的开发周期从数月缩短至数周，单个 TPU 8t superpod 可扩展至 9,600 个芯片和 2 PB 共享高带宽内存，芯片间带宽是上一代的两倍，该架构可提供 121 ExaFlops 算力，允许最复杂模型利用单一海量内存池。TPU 8i 芯片则配备了 288 GB 高带宽内存和 384 MB 片上 SRAM，模型活动工作集能完全留在芯片上。