上下文,持续的现在 Continuous Now (想了一下,半夜爬起来把我自己这篇文章翻译了算了)
我为这篇文章、也为我们正在重新理解的“上下文”,起了一个名字:Continuous Now(连续的现在)。这个词让我挥之不去,我觉得太好了。
我想表达的是我最近的一种顿悟:时间。
更确切地说,是智能对时间的感知。
无论是人类,还是人工智能,一切真正的智能都只能在“现在”中发生。
过去只是记忆的堆叠,未来只是可能性的投影,而智能的存在,永远只能在这一刻被激活。
很多人谈论 RAG、向量数据库、ICL 或 IWL,
却没有真正明白这些词背后的含义。
你并不孤单。
甚至许多程序员也困惑于此
而正是这种困惑,导致了 RAG 并不能真正如人所愿地工作。
因为他们混淆了“信息的检索”与“智能的生成”。
每当你与一个大语言模型对话,
都会有一件极其奇妙的事情发生:
一个全新的世界在静静地被生成。
它不是静态的数据库,
不是冷冰冰的事实表格,
而是一个活着的、暂时的世界——
由语言、意图,以及“此刻正在思考”的行为共同编织而成。
多数人以为 AI 就像一座巨大的图书馆:
你问一个问题,它翻找出答案。
但智能并不是这样运作的——
无论在人类,还是在机器之中,都不是。
当你输入一个 prompt,
模型并不会“搜索”那个早已存在的答案,
它会重新建构一个连贯的世界,
在自己的注意力窗口之内,
创造出一个微型而完整的语义宇宙。
在几秒钟之内,一个舞台被搭建起来:
谁在说话、你想要什么、此刻什么最重要。
模型生成的每一个 token,
都是在这个舞台上完成的一次行动。
这个舞台,就叫做 Context(上下文)。
而上下文不是被存放在某个地方的信息,
它是在时间中被执行的过程。
它只存在于模型“正在思考”的那一刻——
就像你的意识,只在你清醒并聚焦时才存在。
当推理停止,这个舞台也随之坍塌。
留下的,只是一些残余:日志、摘要、向量嵌入,
那些只是痕迹,不是意识。
智能,从来不住在记忆里。
它只活在时间的这一刻——
在这持续流动的“连续的现在(Continuous Now)”之中。一个很禅意的机器人。现在,当下。
I. Context 是此刻的世界模型
当一个大型语言模型在“思考”时,它其实并没有去翻什么记忆,也不会像数据库那样去检索资料。它真正做的,是在当下重新搭建一个世界,一个只在思考发生的瞬间存在的临时世界。
人类的思维也是这样。我们在想问题的时候,并不会把一生的记忆都调出来,而是只抓取和当前相关的几个片段,然后在脑海里拼出一个小小的、能让问题说得通的世界。这个小世界就是我们的“上下文”。它只在注意力集中的时候存在,一旦思绪飘走,这个世界就散掉了,只剩一点模糊的印象留在记忆里。
语言模型的原理其实一样,只不过它的速度更快、规模更大。你输入的每一个词、每一句话,都会成为它临时构建的语义世界的一部分。它会在这个世界里判断是谁在说话、问题是什么、哪些信息重要、要遵守哪些条件。所有这些信息会在它的“注意力窗口”里被对齐、压缩,变成一个完整的当下。
而这个“当下”,就是智能真正存在的地方。推理、创造、决策,全都发生在这里。就像一场演出,当表演结束,舞台也随之消失。模型可以留下摘要、笔记或日志,那些只是痕迹,不是活生生的意识。所以我现在跟我队友讲的时候,我经常会用act, enact, it’s a play,这种词。就像戏剧,一场戏,一场智能对手戏一样。
所以很多人会误解上下文。他们以为上下文是模型的知识或记忆,但那些其实都是静态的、过去的东西。上下文不是模型知道什么,而是它此刻正在想什么。
它不是存放的信息,而是智能运作的状态。
它不是知识的堆积,而是思考正在进行的现场。
上下文就是“现在”——
是智能在时间里真正存在的地方。
II. 上下文只存在于“连续的现在”:你类比一下你自己
信息是放在数据库里的,但智能是活在时间里的。你死了,脑子就死了,具体灵魂在哪,我们不知道。你留下来的信息,文字,照片,那不是你大脑的当下思考了,那就是数据库了。
数据库能存很多事实,可能有上亿条,但那些东西都是静态的,永远不会自己动。智能不一样,它只有在“事情正在发生”的时候才存在。只有当感知、记忆、注意力和意图都同时被调动起来,智能才会出现。
过去就像一片乱糟糟的大海,到处是碎片和痕迹,虽然庞大,却没有生命。未来呢,是另外一片混沌,还没有形状,里面全是各种可能。只有中间这一小段,也就是现在,才是智能真正活着的地方。它是一个短暂的窗口,世界在这一刻暂时变得有序、有意义。
这个“现在”就是智能的舞台。它让意识把时间压缩成行动,让过去的经验和未来的可能在这一刻对齐,形成一个临时但完整的世界。每一次思考,无论是人类还是语言模型,都是在建造这样一个世界。它短暂、集中,但足够让思考发生。
每当你开始思考,或者模型开始回答时,它们都在做同样的事。从记忆中调出相关的信息,筛选出重要的部分,再把这些碎片重新组织成有逻辑的结构。当推理结束,这个结构就崩塌了。剩下的只是一些记录、摘要、数字参数,但那个活生生的“当下”已经不在了。
所以,上下文是没法像数据那样保存的。它只在智能“醒着”的时候存在。保存了就是数据库,不是上下文。有人问:“为什么模型记不住我昨天说的话?”其实答案很简单:因为昨天已经过去了。模型能记下一些痕迹,但它没办法重建那个当下的世界。
智能不是记忆的堆积,而是此刻正在思考的状态。智能永远只存在于“现在”。
….下面我写了一堆RAG, 编辑上下文context-as-code这一堆内容,可以自己去看英文。累了,困了,睡觉。
The Continuous Now: Why Context Is Not Memory
显示更多