ZC | AI & 宏观拆解 (@zcswl7961) “一个容易忽略的细节：Agent 账单月底比月初贵三倍，多半不是调用变多。 上个月接了个” — TopicDigg
ZC | AI & 宏观拆解
@zcswl7961
加入 March 2018
0 正在关注 0 粉丝
一个容易忽略的细节：Agent 账单月底比月初贵三倍，多半不是调用变多。
上个月接了个离线回刷任务，前二十天每天几毛钱，最后一周单日直接翻到十几块，团队第一反应是多开了实例。
翻执行记录才发现，长任务每轮都把整段历史工具结果重新塞回上下文，上下文一膨胀，缓存命中的部分就从九成掉到两成。
负责的同学翻完记录说了句：“不是它多干了几轮，是每轮都把前面干过的重付了一遍。”
根因是上下文压缩只留了最近几轮对话，早期约束和已确认结论没保住，模型只能反复重取工具结果。后来把目标、结论和待办单独存了份状态，账单第二天就回到原来的量级。
Token 涨的不一定是用量，很多时候是你没替它记住已经做过的事。
显示更多
