Skip to content

供应商路由

供应商路由用于在多个模型供应商间按规则分发流量,平衡成本、质量与延迟。

常见路由策略

  1. 按场景路由:客服、代码、摘要分别使用不同模型。
  2. 按预算路由:低价值请求优先低成本模型。
  3. 按地域路由:根据区域与合规要求选路。

实施建议

  • 抽象统一模型参数层,减少迁移成本。
  • 保留请求与响应对照数据,便于回放分析。
  • 定期复盘路由命中率与质量指标。