谷歌推出 TPU 8t / 8i,两款 AI 芯片分别面向训练和智能体推理
发布时间:
来源:IT之家
IT之家4月22日消息,谷歌在当地时间今日举行的Google Cloud Next大会上宣布推出两款定制AI ASIC芯片,分别是为推理优化的TPU 8t和面向智能体推理工作负载的TPU 8i,两款芯片也有承担对方优势任务的能力。
TPU 8t在处理大规模、计算密集型的训练工作负载时表现出色,其设计具备更高的计算吞吐量和更强的纵向扩展带宽。TPU 8i则配备了更高的内存带宽,专为处理对延迟最为敏感的推理工作负载而设计。
TPU 8t的Pod规模从此前的9216颗进一步增加至9600颗,但总FP4算力规模提升则接近2倍。其单芯片横向扩展(Scale-out)带宽从100Gbps显著增长至400Gbps,这化解了大规模互联中的瓶颈。
TPU 8i则拥有CAE片上加速引擎,配备384MB片上SRAM和288GB片外HBM,运行时的数据无需存取。其Pod规模从上代的256颗显著提升至1152颗,每Pod的FP8算力和HBM内存容量分别提升8.67倍和5.74倍。
谷歌表示,TPU 8t和TPU 8i的能效是上一代TPU Ironwood的两倍。
