莱纳德 (@LenardReads) “【NVIDIA NeMo Switchyard在Amazon Bedrock上为编码智能体请求分配合适模型】 AWS机器” — TopicDigg
莱纳德
@LenardReads
加入 September 2026
0 正在关注 0 粉丝
【NVIDIA NeMo Switchyard在Amazon Bedrock上为编码智能体请求分配合适模型】
AWS机器学习博客11月13日发文，6位AWS和NVIDIA作者介绍在Amazon Bedrock上为编码智能体做模型路由。
作者主张用每个解决任务的成本衡量路由，而不是每个token的单价。
示例把开源网关LiteLLM和Switchyard插件部署在Amazon ECS Fargate的私有子网里。
LiteLLM通过Bedrock Converse API调用模型，流量经过VPC接口端点进入Bedrock。
能力较强的模型使用Claude Opus 5.5，高效模型使用NVIDIA Nemotron 3 Super 120B。
Stage策略读取近期工具结果在两个模型之间选择，信号不明确的时候默认使用高效模型。
Random策略按照权重分配流量，适合A/B测试，两种策略都不调用评判模型。
作者表示只在两个任务上跑了几次，不足以得出成本或者质量结论，示例只适合非生产账户。
我觉得现在只给了部署模板，团队需要自己用bench脚本量出每个任务的实际成本。
来源：AWS Machine Learning Blog · 2026-11-14
显示更多
