📚 李博杰刚开源了一本《深入理解 AI Infra》,想搞懂大模型推理和训练到底卡在哪,这本书直接从硬件极限一路算给你看。
《深入理解 AI Infra》的仓库 8 月下旬才建,现在已经 7500 多 star。它是李博杰《深入理解 AI Agent》的姊妹篇,那本在 GitHub 上是 5 万+ star。
以前学 AI Infra,看到的多是「用了什么框架、调了哪些参数」,为什么要这么设计,往往没人讲透。
这本书反过来,从约束推导设计,反复追问五个问题:搬什么、搬多少、搬几次、经过哪里、谁必须等它。十二章从模型架构、加速器、超节点、数据中心网络,一路讲到推理优化、分布式推理、训练系统和端边云协同。
配套的计算工具只要 Python 标准库就能跑,不用 GPU,也不用下模型权重,书里的数可以自己算一遍。中文原版之外还有英文、繁中和俄语的社区译本,PDF、EPUB、在线阅读都有。
要说明的是,书稿目前还是初稿,作者在持续修订。
想把 AI Infra 从「会用」学到「会算」,这本值得放进书单。
GitHub:
显示更多