注册并分享邀请链接,可获得视频播放与邀请奖励。

meng shao (@shao__meng) “CanyonOS:多智能体工作流可以只给忙的智能体加副本 https://t.co/xAgd2YWY0N 按智能” — TopicDigg

meng shao 的个人资料封面
meng shao 的头像
meng shao
@shao__meng
加入 November 2023
0 正在关注    0 粉丝
CanyonOS:多智能体工作流可以只给忙的智能体加副本 按智能体扩缩,也按智能体追踪 各智能体很少同时需要同一份容量:规划器很快结束,请求却可能堆在某个研究智能体后面。整应用一起扩,空闲部分也会被加机器。CanyonOS 把每个智能体做成独立的容器服务,自带队列和副本上下限。智能体之间仍写成普通方法调用,由本地控制器转发并立即返回 Future,可以同时发出多路调用,而不必改写成异步代码。扩缩策略写在 scaling.yaml,对每个智能体分别计量:看每副本每分钟完成的请求数,或该智能体全部副本上的排队长度。默认约每 5 秒采样,连续 4 次越线才加减一个副本,大约 20 秒反应一次;缩容会先排空再停。数据库和入口不参与扩缩,副本下限至少为 1。 智能体之间的调用,以及经内置 LLM 网关的模型请求,由平台记下路径、耗时、token 和估算费用,并可导出到 OpenTelemetry。不必在业务代码里加追踪装饰器,但仍要按「一个智能体一个文件」接入,或用转换助手改写 LangChain、LangGraph 项目。可部署到本机 Docker、自有 AWS 或 Kubernetes,模型需提供 OpenAI 兼容接口。 一次演示,以及现在的边界 用官方 portfolio 示例分析了 40% 苹果、35% 微软、25% 英伟达,回看过去一年。跟帖截图是本地 canyonos test:Test passed,约 22.4 秒,价格来源为 yfinance。他写道有 10 个可追踪步骤、两次 LLM 调用,估算费用 0.000184 美元,但截图里看不到这张明细。这些是作者单次自报,不是独立评测。费用按平台价目估算,会用到 LiteLLM 的报价,不是账单原件。已部署接口没有内置鉴权,看板默认关闭登录。
显示更多
0
17
18
3
转发到社区