Geek (@geekbb) “我对他使用的软件感兴趣，一个用 Zig 写的原生 Apple Silicon LLM 推理服务器，支持 M” — TopicDigg
Geek
@geekbb
加入 July 2010
0 正在关注 0 粉丝
我对他使用的软件感兴趣，一个用 Zig 写的原生 Apple Silicon LLM 推理服务器，支持 MLX 与 GGUF 模型、OpenAI/Anthropic/Ollama 兼容 API，无需 Python，附带 macOS 菜单栏应用。
显示更多
Qwen 3.8 - 27B MLX-Serve 4bit model, made the best version of the famous Pagoda test so far for me. Using @pidotdev as the coding agent, and MLX-Serve as the backend.
