宝玉 (@dotey) “结构创新和超高上下文效率 DeepSeek-V4 开创了一种全新的注意力机制，在 token 维度进” — TopicDigg
宝玉
@dotey
加入 April 2007
0 正在关注 0 粉丝
结构创新和超高上下文效率
DeepSeek-V4 开创了一种全新的注意力机制，在 token 维度进行压缩，结合 DSA 稀疏注意力（DeepSeek Sparse Attention），实现了全球领先的长上下文能力，并且相比于传统方法大幅降低了对计算和显存的需求。从现在开始，1M（一百万）上下文将是 DeepSeek 所有官方服务的标配。
显示更多
