既然有更强的 AI 模型,为什么不把所有任务都交给它?
这个问题有点像问:餐馆已经请了大厨,洗菜、称重、摆盘,为什么还要分工?能力很强的人可以做许多事,但每件事都由他完成,未必是合适的安排。
AI 产品里的“模型路由”,就是为不同任务选择处理路径。普通一点说,它像一个分派工作的入口:这件事用规则就够,那件事交给轻量模型,复杂的部分再换一种处理能力。
研究论文 RouteLLM 讨论了在不同能力模型之间动态分配请求,以权衡成本与回答质量。论文的测试结果有具体环境,不能直接等同于任何产品都能省下同样的钱。资料:RouteLLM 论文
举个假设例子,一个客服工具要整理工单。检查订单号是否少了一位,可以按固定规则处理;给常见问题分类,可以用经过验证的模型;一封包含好几件纠纷的长邮件,则可能需要更强的理解能力。
不过,这个比喻也有边界。模型不像员工那样可以只凭岗位名称判断本领。同一个模型,写摘要可能不错,提取特定格式的日期却未必可靠。任务该走哪条路,仍要看实际样本上的表现。
分错了路,会有代价。复杂邮件被当作简单问题,第一次回答失败,再换模型重来,用户等得更久,总成本也可能更高。后台省下一次便宜调用,并不代表整件事更省。
还有一种容易被忽略的风险:把“更强模型”当成最后的万能保险。遇到缺少资料、权限不足,换再强的模型也不能补出真实信息,更不能凭理解能力获得操作客户账号的许可。
所以,合理的流程有时会停下来,显示资料不足,或等待人工判断。它不需要一路升级到最贵、最慢,才算尽力。知道某条路径能处理什么,也包括知道它什么时候该结束。
用户通常不关心后台用了几个模型。他在意的是答案是否可用、等待是否合理、收费是否说得明白。把模型分工做好,价值最终也应落在这些地方。
模型路由听起来像高级工程技巧,背后的经营问题却很普通:有限的资源,该让谁做哪一段工作,以及出了差错后,整件事还能不能顺利收尾。