2026.10.05 16:54

我做了一个 WEB CRAWLER，它会尽量避免在没有必要的时候调用大模型。视频里可以看到，这个 bot 会沿着网站不断爬取，打开新的分支，然后逐渐缩小搜索范围。对我来说，真正有意思的并不是 crawler 本身，而是每一步之间发生的事情。我把 Jev 放进了处理这些小决策的那一层，这样就不用把每一次新的跳转、每一条链接、每一个不确定的判断都直接交给 Claude。最后形成的逻辑其实很简单：web crawler 在网络里不断移动，Jev 帮它判断接下来到底值不值得继续往某个方向走，而大模型只会在真正需要完整上下文和 reasoning 的地方介入。短距离搜索时，这种区别几乎感觉不到。但当 crawler 开始执行几百次跳转以后，你就会很清楚地看到，把强大的 LLM 当成一个通用 if 来使用到底有多贵。也正是做完这种实验以后，我开始用不同的方式看 AI stack。有时候，系统真正的改进并不是再加一个新模型，而是把原来的模型从那些你自己曾经随手塞进去的位置里拿掉一半。我在文章里把这个思路讲得更详细。先看视频，再去读那篇文章，你会更容易理解为什么这种中间层是有意义的。如果你也在做 Agent 或 web crawler，可以先把这条存下来。如果你的 pipeline 现在每走两步就要调用一次 Claude，那就把这条发给设计这个 pipeline 的人。

显示更多