Google 工程师在 Ironwood （TPUv7） 上优化 Qwen 3.5-397B MoE 模型

Google 工程师为在 Ironwood （TPUv7） 上部署 397B 参数的 Qwen 3.5 MoE 模型，开发了一套模块化 JAX/Pallas 优化栈。通过混合数据并行与专家并行（DP+EP）拓扑绕过硬件分片限制，结合层级化 reduce-scatter 等自定义底层通信融合优化跨设备 token 路由，并利用硬件感知的自定义内核（如 Batched Ragged Page Attention 和全融合 Gated DeltaNet 块），最终在 prefill 密集型负载上实现了高达 4.7 倍的推理加速，使系统吞吐量接近理论 roofline 极限。

来源：Google Developers Blog（RSS） — 查看原文

在 AI HOT 上查看

数据来源：AI HOT (aihot.virxact.com)