seekinganythingbutalpha (@ivanalog_com) “调试了一会，目前谷歌A100运行Qwen Flash的速度（3000+ prefill, 90+ tps)已经比一般” — TopicDigg
seekinganythingbutalpha
@ivanalog_com
加入 October 2011
0 正在关注 0 粉丝
调试了一会，目前谷歌A100运行Qwen Flash的速度（3000+ prefill, 90+ tps)已经比一般的商用API还要快了，偶尔短时重度并发使用可以放到Collab上去。
为了节约大家的时间，我把在Collab上重建这个Qwen Flash的Recipe放到Github了，需要可以自取。
显示更多
Collab上A100 80G运行Qwen Flash Next的速度很不错。
prefill 2800~3000, decode 90+
