Google 第五代 TPU 来了!成本不到上一代 50%,训练性能却有 2 倍

Google 在今年度的云端大会 Google Cloud Next ’23 上推出了新一代自家研发的 AI 加速器晶片 Cloud TPU v5e!除了成本不到第四代的 50%,更可怕的是训练 LLM 性能提高 2 倍、推理性能提高 2.5 倍!

TPU(Tensor Processing Unit)是 2017 年起 Google 自己设计、研发,专为 AI 所制造的晶片,之前 Google 杰出科学家纪怀新(Ed H. Chi)博士就曾说明 Google 现在所有自家训练 AI 的工作 100% 都是由 TPU 进行;这次 Google 推出第五代,就是主打可以让 GCP 客户训练 AI 时获得更高的运算性价比。

TPU v5e Pod 可以支援最多 256 块晶片连结,总频宽可达 400 Tb/s、INT8 性能可达 100 petaOps,并支援 8 种不同的虚拟机 (VM) 配置。软体部分 Cloud TPU v5e 还支援 JAX、PyTorch 和 TensorFlow 等 AI 框架,以及 Hugging Face 的 Transformers 和 Accelerate、PyTorch Lightning、Ray 等开源工具。

除了第五代 TPU 之外,Google 这次也再次宣布基於 NVIDIA H100 GPU 推出的 A3 超级电脑虚拟机服务,将在下个月全面上线。

核稿编辑:Sisley

快加入 INSIDE Google News 按下追踪,给你最新、最 IN 的科技新闻!