Gorden Sun (@Gorden_Sun) “Azure刷新LLM训练纪录：7分钟训练完405B模型 128个机柜，2048个GB200节点，8192张显卡” — TopicDigg
Gorden Sun
@Gorden_Sun
加入 August 2013
0 正在关注 0 粉丝
Azure刷新LLM训练纪录：7分钟训练完405B模型
128个机柜，2048个GB200节点，8192张显卡，7分钟训练完成Llama 3.1 405B。
使用的设施名叫Fairwater，训练负载分成四个并行维度——张量并行(Tensor Parallel)、上下文并行(Context Parallel)、流水线并行(Pipeline Parallel)和数据并行(Data Parallel)，各自使用不同的通信模式。通信延迟能重叠的重叠，必须等的压缩到极限。
博客：
显示更多
