注册并分享邀请链接,可获得视频播放与邀请奖励。

Ren (@FakeMaidenMaker) “好问题 Hermes 省token方面有很多机制: 1. 缓存优化: hermes: 全session 缓存,缓存” — TopicDigg

Ren 的个人资料封面
Ren 的头像
Ren
@FakeMaidenMaker
🇺🇸 人在美国的 AI 程序员 💻 ⚙️ 整理小白能懂的优质 AI 教程 📚 💰 分享我关于投资、副业、职场的思考 🧠 📢 持续挖掘不同领域实用的 AI 提效方式 🤖 📝 开源我所有的内容创作与 AI 变现经验 📈
加入 March 2025
617 正在关注    5.6K 粉丝
好问题 Hermes 省token方面有很多机制: 1. 缓存优化: hermes: 全session 缓存,缓存命中接近100%; 并且 Hermes 把外部记忆、plugin 上下文等临时内容塞到 user message 里而不是 system prompt,确保 system prompt 的 prefix cache 永远命中。 openclaw: 动态内容(heartbeat、group chat context、runtime info)会更改 cache boundary, 缓存打折扣 虽然不省 token 但是 cache 命中高 = 省钱 2. Comapction 增量更新(省的不多) Hermes: 已有摘要时只 merge 新内容 openclaw: 每次 compact 重写摘要 3. 历史记录搜索方式(最省token的一集) Hermes: FTS5(关键词搜索) 命中 → 加载匹配会话 → 截取 ~100K 字符 → 廉价模型摘要 → 精炼结果注入 OpenClaw: Hybrid:向量+BM25 搜索 → 返回 top N raw chunks → 直接注入主模型 Context 读取 raw chunk, token 开销大! 关于 skill 管理: 1. 能关 config 里有 creation_nudge_interval: 15 这个参数,每隔 x 轮对话自动判断是否有需要更新的 skill 设成 0 就禁用自动创建更新。 2. 如果太多了仍然还是要手动管理的 检测到已有相关skill会进行更新而不是无限创建。如果长期使用skill太多 ,允许用户通过 `skills.disabled` 禁用一些skill或者直接删除。 能用到 50+ 不同复杂流程被自动编写为skill的时候,相信你也是Master了。
显示更多