宝玉 (@dotey) “这篇 Pi 压缩的文章，太过于朴实无华，就真的只是写个 prompt 让 LLM 把上下文总结一” — TopicDigg
宝玉
@dotey
加入 April 2007
0 正在关注 0 粉丝
这篇 Pi 压缩的文章，太过于朴实无华，就真的只是写个 prompt 让 LLM 把上下文总结一下，然后保留前面的system prompt 和工具调用，在摘要后可能还会保留最近几次对话。
这种压缩是有损的，不知道是不是有机制会去历史会话检索上下文？
当然这确实是压缩上下文的最简单有效方案。
显示更多
LLMs have a limited context window. When conversations grow too long this affects output quality, performance and cost.
New blog post from Earendil engineer @vegardstikbakke on how compaction addresses this and how we’ve implemented it in Pi.
Read the full post below
显示更多
