Han Cheng e/acc (@ashfold) “花了一晚上，成功让deepseek v4自己部署了自己。从头编译调试了vllm + dspark。90%的” — TopicDigg
Han Cheng e/acc
@ashfold
加入 October 2009
0 正在关注 0 粉丝
花了一晚上，成功让deepseek v4自己部署了自己。从头编译调试了vllm + dspark。90%的时间花在了找国内镜像源和配置下载上...（server上没法配代理）。最终rtx pro 6000跑到了200 tps +的成绩。感谢 @light_foundry 提供的recipes。sglang还是跑不通的状态。
显示更多
