在 RAISE 大会上，SambaNovaAI 将 H200 用于计算密集型预填充、SN50 RDUs 用于内存受限解码，实现了 MiniMax M2.7 的最快推理。经 Artificial Analysis 基准测试，短上下文达 850 t/s，长上下文超 450 t/s。
来源：X：MiniMax (@MiniMax_AI) — 查看原文
数据来源：AI HOT (aihot.virxact.com)
MiniMax M2.7 在 SambaNova 上达 850 t/s 推理速度
来自
在 RAISE 大会上，SambaNovaAI 将 H200 用于计算密集型预填充、SN50 RDUs 用于内存受限解码，实现了 MiniMax M2.7 的最快推理。经 Artificial Analysis 基准测试，短上下文达 850 t/s，长上下文超 450 t/s。
来源：X：MiniMax (@MiniMax_AI) — 查看原文
数据来源：AI HOT (aihot.virxact.com)
来自
发表回复