Google定制AI芯片张量处理单元（TPU）现已通过SGLang推理引擎的新PyTorch原生版本，在Meta的生产环境中提供AI服务。Google开发者博客宣布了这一消息，并同步开源了另一主流推理引擎vLLM的匹配版本。

此前，这两大引擎在TPU上运行均依赖Google自有的JAX框架。新版本使TPU成为PyTorch的原生硬件选项，大部分情况下无需重写代码。

Meta确认投产，打破硬件单一依赖

“SGLang-TorchTPU今天已在Meta投入生产环境运行”，Meta PyTorch-TPU负责人Zongwei Zhou表示。这是Meta、Google与SGLang创建者创立的初创公司RadixArk三方紧密协作的结果。Zhou称，该引擎为Meta提供了“一个非常成熟、原生的PyTorch推理堆栈”。

Meta PyTorch工程总监Jana van Greunen补充道，Meta“不能受限于单一的硬件架构”，而TorchTPU“使我们能够将PyTorch工作负载部署到Google TPU上”。Google证实，其与Meta PyTorch团队共同开发了TorchTPU。

这并非Meta首次尝试TPU。Google将PyTorch/XLA称为新TorchTPU的“前身”。SemiAnalysis去年报道指出，Meta研究团队曾在2020年至2023年间通过该桥梁使用TPU，随后取消了相关合同。此次Google推动PyTorch在TPU上的应用主要针对Meta，后者此前不愿迁移至JAX框架。

尽管Meta生产环境TPU的具体位置尚未公开，但据报道，双方去年的谈判涉及2026年租用Google Cloud TPU及2027年的采购计划，Meta随后签署了一项多年期租赁协议。

对标Amazon，性能超越Nvidia GB200

在此公告发布一天后，Amazon在同一PyTorch大会上宣布开源TorchNeuron，即针对其Trainium2和Trainium3芯片开发的自有原生PyTorch后端。这两项举措旨在打破Nvidia的软件锁定。

在性能方面，据AI基础设施公司Inferact测试，经过调优的vLLM设置在第七代Ironwood TPU上，以单用户身份服务Moonshot AI开源的2.8万亿参数Kimi K3模型时，吞吐量超过每秒700个token。该测试使用了16块Ironwood芯片进行推测解码，对比vLLM在16块Nvidia GB200上的设置（每秒452个token），TPU表现更优。对于Kimi K3和Qwen 3.8 27B模型，在不使用推测解码的小批量场景下，其内核吞吐量约为GB200基线的1.4至2倍。

SGLang-TorchTPU将继续扩展模型支持，首批包括DeepSeek V4.1 Flash和Reflection Beam。RadixArk表示，致力于在2027年第一季度前实现对新开源模型的“Day 0”TPU支持，即发布当天即可提供支持。Google、Meta和RadixArk计划于11月12日至13日在旧金山举行的SGLang Summit 2026上分享更多信息。