Zexuan Luo (@spacewander_lzx)
@spacewander_lzx
目前在做AI gateway/前Apache APISIX和OpenResty核心开发者/一个工作在L4与L7接入层的程序员/观点仅代表本人意见
69 正在关注 6.9K 粉丝
Litellm看来是厌倦了别的网关说我比你快多少多少。新项目固然快（一个是Rust，另一个是目前只有最简单的功能），不过给我印象最深的是居然只比Bifrost快一点，确定双方用了同样多的CPU吗？
显示更多
qwen 3.7-max 的隐式缓存，我看网上有说法最长能存1小时（官方没有承诺时长）。但是它的显式缓存太ephemeral了，只有5分钟（还要额外收钱），基本上生产环境不考虑，直接把对隐式缓存的预期拉低了。
显示更多
