Google DeepMind 新研究指出，仅凭准确率和成本评估大语言模型路由器可能产生误导。若路由池中模型输出高度同质，路由便失去意义；若同一查询的不同改写被分给不同专家，路由则不稳定。论文提出决定路由有效性的两个关键属性–模型间的行为差异化与对表面形式改写的稳定性–且二者与任务准确率正交。实际启示：使用混合智能体或模型路由时，整体准确率可能掩盖冗余或分配不一致的路由器，上述两项检验可识别出看似优秀实则无效的路由方案。
来源：X：Elvis Saravia (@omarsar0, DAIR.AI) — 查看原文
数据来源：AI HOT (aihot.virxact.com)
发表回复