注册并分享邀请链接,可获得视频播放与邀请奖励。

南晚Nanwan (@snwiki238337) “现在的个人 Agent 做记忆检索,我们平常都会认为这对于用户任务的完成质量会提高,但” — TopicDigg

南晚Nanwan 的个人资料封面
南晚Nanwan 的头像
南晚Nanwan
@snwiki238337
加入 May 2024
0 正在关注    0 粉丝
现在的个人 Agent 做记忆检索,我们平常都会认为这对于用户任务的完成质量会提高,但是并非如此,不仅没提高还下降了。 记忆检索绝不只是一个单纯的信息召回(Recall)管道,它本质上是 Agent 认知里的一条长期控制通道与信任边界。一旦一段看似相关、但情境完全错位的记忆被无脑召回,它就会变成一个隐形的方向盘,悄悄篡改模型的推理、语气甚至工具参数。 浙大、上海 AI Lab 等团队的这篇 Beyond Similarity: Trustworthy Memory Search for Personal AI ,给个性化记忆冷静一下降降温。 团队在主流记忆框架以及具有真实工具调用能力的个人 Agent 上做了系统测试,发现了几个荒诞的隐患: 1. 第一给是污染问题:用户私下聊过的病历或家庭琐事,因为词汇重合,在写工作邮件时被顺手召回并引用了进去。 2. 第二个是对于工作中的事情变成了阿谀奉承:长记忆里记下了用户的片面偏见或抱怨,导致模型在面对客观事实时,选择无脑顺着用户的错误认知往下编,顺从率从无记忆时的 19.3% 飙升到 40%+。 3. 第三个就是工具调用出现了大问题:用户在闲聊时随口提过一句“我这人急性子,讨厌等待”,结果 Agent 在调用生产环境的安全运维工具时,竟然把超时熔断阈值给调低了。 此外这篇论文提出了 MemGate,做法非常轻巧:它在向量库与 LLM 之间插进了一个只有 9M 参数的轻量神经门控插件。 它的核心思想很简单,把“无条件相似度检索”变成“基于任务情境的记忆准入控制”: 输入 Query 和候选记忆向量后,MemGate 通过一个小型 MLP 直接预测门控掩码,有选择性地衰减有害或不相关的特征维度,只放行对当前任务合法、安全的证据。 实测效果也非常的不错,在 OpenClaw 配合 GPT-4o-mini 的真实评测中: * 信息泄露问题从 27.0% 断崖式降到 3.5%; * 并且记忆诱发的越狱成功率从 16.8% 降到 4.4%; * 安全性的大幅提升并不是靠“阉割记忆能力”换来的在 LoCoMo 记忆基准测试中,它的有效效用得分反而从 38.9 涨到了 40.8; arxiv:
显示更多