生成式 AI 路由_AI阅读总结 — 包阅AI

在 LinkedIn 这个 AI 产品架构中，有一个重要的模块叫路由（Routing），这通常是当应用比较复杂，需要用不同的专业模型或者智能体来处理不同的任务，比如当用户希望获得简历方面的建议，就可以交给简历评估的智能体负责；当用户希望获得某个公司的资讯，就可以由专门的公司资讯智能体负责。

这样做主要由几个好处：

1. 可以对特定任务做优化，比如做简历评估的智能体可以根据目标公司和职位去实时检索出来招聘信息，结合简历做优化，甚至可以收集一些优质的简历微调一个模型
2. 更容易做团队分工，就像 LinkedIn 这样每个小团队负责一个智能体
3. 可以节约成本，根据任务的不同，有些简单的任务就不需要像 GPT-4 这样又贵又慢的模型处理，可以用 GPT-4o mini 这样的便宜模型

路由通常是用“意图分类器（Intent Classification）”来实现，分类器根据用户的输入，预测用户试图做什么事，基于预测的意图，查询被路由到适当的解决方案。例如，对于一个客户支持聊天机器人，如果意图是：

• 重置密码 –> 将该用户路由到有关密码重置的页面。
• 纠正账单错误 –> 将该用户路由到人工操作员。
• 排除技术问题 –> 将该查询路由到一个为故障排除微调的模型。

意图分类器不仅可以用来路由到相应的解决方案，还可以作为安全护栏和请求过滤，当用户请求一些和产品无关的问题时，可以礼貌的拒绝，或者要求附加说明，没有必要进一步处理。

意图分类器可以基于通用模型来实现，也可以用专门的分类模型，通常专门的分类模型会比通用模型更小更快，比如 LinkedIn 就是小的专用模型来做路由的。

需要注意的事，路由只有当你的应用有复杂并有一定规模时才有必要，如果应用不复杂，也许不需要使用路由。