Bruce🐼 (@paulwalker99318) “晚点LateTask这篇访谈的信息量非常大，关于百度美研、Scaling Law、OpenAI、Anthropic” — TopicDigg

晚点LateTask这篇访谈的信息量非常大，关于百度美研、Scaling Law、OpenAI、Anthropic、Cerebras的往事。 > "Dario 能进百度，其实是他职业生涯里很重要的一步。他是 Greg Diamos 招进来的。而且加入百度前，Dario 并不是计算机或 AI 科班出身，而是数学、物理和生物背景，Greg Diamos 发现他很有 AI 直觉和训练模型的能力。" > 十年前（早于transformer），百度已经在训练接近 3 亿参数的语言模型——也就是发现Scaling Law雏形的时候。用 GPU 训练一次要三个多月，这个模型基于一个自研的框架——Paddle（飞桨）。 > Sam Altman 本人是 Cerebras 的投资人。百度是 2017 年投的，Sam Altman 2016 年就投了。 > 百度早期投资 Cerebras，投资决策只用了2天，由李彦宏、陆奇、CFO做出——这个投资决策也证明了百度当时的投资眼光有多超前。 > 百度曾有机会成为 OpenAI、Anthropic 的早期天使。当时OpenAI、Databricks、Scale AI 这些公司都在百度的待投名单上。可惜的是中美关系恶化导致没投成。 > 陆奇早年曾是 Sam Altman 的 mentor。2018 年 5 月陆奇从百度离职后，同年 8 月便接受 Sam Altman 的邀请，出任 YC 中国的创始人兼首席执行官。 > 2020 年夏天，一些在 OpenAI 的百度前员工说 GPT-3 快训练出来了，当年在百度想做的事情，快在 OpenAI 做成了——维基百科水平的语言模型。那时 GPT-3 还在后训练阶段，距离 ChatGPT 出来还有两年多。 > 百度美研顶峰时期至少 250 多人，人才密度很高，甚至在 Google DeepMind 都没有过。很多人是冲着吴恩达来的。 > 后来这里的很多人加入了核心 AI 创业公司，或自己创业，除了前面提到的 OpenAI、Anthropic，也有人参与创办 Adept、xAI，还有一些人成了 Meta FAIR 等实验室的重要成员。