管四 (@guansi) “我一直建议，想真正学大模型的人，最好自己本地部署一次。 这是给大模型祛魅最快的方” — TopicDigg
管四
@guansi
加入 September 2010
0 正在关注 0 粉丝
我一直建议，想真正学大模型的人，最好自己本地部署一次。
这是给大模型祛魅最快的方法。
平时我们在网页里用 ChatGPT、Claude，很容易产生一种错觉：后面好像藏着一个会思考、会记忆、会使用工具的“智慧大脑”。
但你真把一个模型下载下来，用 vLLM 甚至ollama跑起来，再自己接 API、调上下文、设并发、看显存、搞量化、接工具调用，很多东西一下就明白了。
你会发现，大模型所谓的“记忆”，其实就是每次对话把前面的上下文重新塞进去；所谓工具调用，是它按格式吐出一段内容，再由外面的程序真正执行；所谓并发，本质上也是 batch、KV Cache、显存和调度这些工程问题。
再往下，你会开始知道一个模型有多少参数，权重文件是怎么回事，BF16、FP8、量化到底在干什么，一次请求从输入到输出，中间究竟发生了什么。一切帽子下的神秘一览无余。
这些东西看十篇文章，都不如自己部署一次来得直接。
等真正折腾完以后，大模型还是很强，但那种神秘感没了。
你会知道并不是服务器里住着一个“小人”。
它就是一个极其庞大、极其复杂的输入输出函数。只是复杂到这个程度以后，居然让人觉得它在思考了。
显示更多
