欢迎来到世界集成電路創新聯盟官方网站!
世界集成電路創新聯盟
您的当前所在位置: 首页 行業要聞

谷歌推出 TPU 8t / 8i,两款 AI 芯片分别面向训练和智能体推理

发布时间:

来源:IT之家
作者: 溯波

IT之家4月22日消息,谷歌在当地时间今日举行的Google Cloud Next大会上宣布推出两款定制AI ASIC芯片,分别是为推理优化的TPU 8t和面向智能体推理工作负载的TPU 8i,两款芯片也有承担对方优势任务的能力。

31938c3f-6556-423f-99c8-feeb60179d85_看图王.jpg

TPU 8t在处理大规模、计算密集型的训练工作负载时表现出色,其设计具备更高的计算吞吐量和更强的纵向扩展带宽。TPU 8i则配备了更高的内存带宽,专为处理对延迟最为敏感的推理工作负载而设计。

TPU 8t的Pod规模从此前的9216颗进一步增加至9600颗,但总FP4算力规模提升则接近2倍。其单芯片横向扩展(Scale-out)带宽从100Gbps显著增长至400Gbps,这化解了大规模互联中的瓶颈。

TPU 8i则拥有CAE片上加速引擎,配备384MB片上SRAM和288GB片外HBM,运行时的数据无需存取。其Pod规模从上代的256颗显著提升至1152颗,每Pod的FP8算力和HBM内存容量分别提升8.67倍和5.74倍。

谷歌表示,TPU 8t和TPU 8i的能效是上一代TPU Ironwood的两倍。