智能模型路由
智能模型路由是 AMAX Token Router 的核心功能之一。当用户请求中的 model 设为 amax-router 时,网关根据后台配置的策略自动选择最优模型。
工作原理
用户请求 (model: "amax-router")
↓
查询 Key 绑定的路由策略
↓
评估各候选模型(可用性、延迟、成本、质量)
↓
选择最优模型 → 转发请求 → 返回响应使用方式
调用时只需将 model 设为 amax-router:
from openai import OpenAI
client = OpenAI(
base_url="https://ai.amaxsmp.com/v1",
api_key="sk-xxxxxxxxxxxxxxxxxxxxxxxxxxxxxxxx" # 已配置路由策略的 Key
)
response = client.chat.completions.create(
model="amax-router", # 使用智能路由
messages=[
{"role": "user", "content": "用中文总结这篇文章的要点。"}
]
)路由策略配置
路由策略与 API Key 绑定,在后台配置。策略可基于:
- 成本优先 — 选择价格最优的模型
- 延迟优先 — 选择响应最快的模型
- 质量优先 — 选择能力最强的模型
- 自定义策略 — 混合以上维度
路由策略的配置请联系技术支持或在控制台密钥管理中设置。
与普通模型调用的区别
| 方式 | model 参数 | 行为 |
|---|---|---|
| 指定模型 | gpt-4o | 直接调用该模型 |
| 智能路由 | amax-router | 网关自动选择最优模型 |
适用场景
- 成本敏感型应用 — 让网关自动选择性价比最优的模型
- 高可用需求 — 当某个模型故障时自动切换备用模型
- 不想关心模型选型 — 表达偏好的策略,网关替你选择
如需配置路由策略,请联系客服或在控制台操作。