Xudong Han (@Xudong07452910) “CMU 这门 NLP 课最硬核的地方：第一份作业就让你从零手搓一个 LLaMA。卡内基梅隆大学”

2026.07.06 00:50

CMU 这门 NLP 课最硬核的地方：第一份作业就让你从零手搓一个 LLaMA。卡内基梅隆大学公开了 2026 春季《Advanced NLP》课程，教授是 Sean Welleck。整套资源包括完整课程主页、课件、视频和配套代码，内容从 Tokenizer、Transformer、语言模型基础，一路讲到 RAG、多模态、RLHF、MoE、长上下文和 test-time scaling。这门课最有价值的地方，不仅是教你怎么调用大模型 API，而且把大模型能力背后的工程路径也拆开给你看。从「Build Your Own LLaMA」这种手搓模型作业，到后面的推理、效率、评测和 Agent，它训练的其实是一种更底层的能力：你能不能理解模型为什么能工作，为什么会变强，为什么有时会失败。这也很符合现在 AI 的技术拐点。过去大家更关心参数规模，谁的模型更大；现在越来越多关键进展，开始发生在推理侧、效率侧和系统侧：怎么让模型更会思考，怎么调度专家，怎么检索外部知识，怎么在有限算力下获得更好的输出。所以这门课不只是 NLP 进阶课，更像一份 2026 年大模型研究者的训练路线图。 AI 时代真正的分水岭，可能不只是会不会使用模型。更关键的是：你停在应用层，还是愿意继续往下走到架构层。 Home: Youtubu: Code:

显示更多