我终于明白为什么LeCun顶着全网群嘲也要死磕世界模型了,
现在很多人误以为大模型快要通向AGI了,纯粹是因为被那种博导般的答题体感给骗了,
@ylecun 说单靠把大语言模型做大,哪怕到了地狱也搞不出人类水平智能,
甚至直接开喷数据中心养出天才军团纯属扯淡,很多人觉得他迂腐、天天唱衰,
但我仔细翻完他在ECCV上的最新拆解才彻底明白,他反对的从来不是语言模型有用,他自己做了一辈子模型太清楚了,大模型说白了就是把全人类写过的几千亿字当成了超级开卷题库,
你问什么它都能对号入座吐出来,这种博导体感是工程的巨大成功,但也让很多人误以为它真的学会了独立思考
有意思的是LeCun搬出了皮亚杰那句老话,智能从来不看你知道什么、看的是你不知道的时候该怎么做,拿学开车来说,
人类小孩四岁光靠眼睛看世界就吸进几十万亿字节,二十小时练习就能上路,而我们的大模型相当于读了人类四十万年的书,
在物理世界里连个洗碗叠衣服的家务机器人都撑不起来,换个没见过的环境分分钟崩溃,
说白了自回归只是在一个词一个词往下猜,现在的所谓推理其实大量是在词语空间里做多轮抽样搜索,遇到代码和数学这种有编译器自动给奖励的封闭沙盒还能刷分,一旦扔进没有自动打分器的真实世界,错误就会指数级放大
说实话这就是为什么他宁可离开Meta、跑到巴黎去给AMI Labs融三十五亿美元估值,也要死磕JEPA和世界模型,他要的是让机器学会预测我做这件事世界会发生什么,
在抽象空间里做动作规划,不用在文字表面拼漂亮句子,连现在的缩放派其实都在偷偷向他妥协,单独拉视觉编码器、在隐空间里做搜索、用物理引擎搞模拟,
外壳虽然还叫LLM,内核其实都在往世界模型的方向打补丁,大家争论到最后已经不是要不要算力,而是我们要把算力花在背诵更多文字上,还是花在让机器看懂物理因果上
我自己平时也天天靠AI写代码查资料,缩放派确实把已知世界的说明书背到了极致,但真正的智能是要去写说明书从来没写过的那一页,
以后别再看各家发布会画什么天才之国的饼,就盯紧三件事,新任务要多少样本能学会,换个环境会不会整段崩溃,
以及汽车和机器人能不能像人一样在物理世界里安全跑起来,谁对谁错不用在网上打嘴仗,现实世界自会交卷。