Andrew111 (@AndrewSignalZ) “律师用八块 2018 年的 V100 跑出接近 NVFP4 质量的 DeepSeek-V4.1-Flash。 一位在 r/L” — TopicDigg
Andrew111
@AndrewSignalZ
加入 May 2021
0 正在关注 0 粉丝
律师用八块 2018 年的 V100 跑出接近 NVFP4 质量的 DeepSeek-V4.1-Flash。
一位在 r/LocalLLaMA 发帖的律师（“GPU 太多”系列第五篇）公开了名为 Volta-Max-uPLIft 的仓库，能在八块 2018 年的 V100 SXM2 显卡上运行 DeepSeek-V4.1-Flash，支持 524K 上下文，单路解码超过 100 tok/s，同时开两个对话时约 160 tok/s。其实际法律工作流如今完全跑在这套本地栈上，不再依赖前沿模型的 API。 这说明近十年前的数据中心显卡，配合选择性的专家升精度量化和手工调优的 Volta 内核，也能以可用速度和长上下文服务 552B 参数的专家混合模型；对于已经拥有 V100 集群的团队来说，这是购买 Blackwell 硬件之外的一条现实路径。而使用者是一位并非机器学习专家的法律从业者、却把它当作日常生产工具，更说明完全本地化、保护隐私的大模型部署在律师等受监管行业已经具备可行性。 核心技巧是“升精度”（uplift）：所有被路由到的专家先以 2-bit 记录常驻显存，然后按在四类文本上统计出的激活频率，把最常被调用的专家逐个替换为 NVIDIA 的 NVFP4 权重，直到显存装满，从而在不需要整模型 4-bit 的情况下达到接近 NVFP4 的质量。该方案在一台双路 Rome 服务器（512 GB 3200 MHz ECC 内存）上采用 PP2xTP4 并行，作者也说明基准数据由 Claude Code 生成，属于自测数据而非第三方独立验证。
显示更多
