Gorden Sun (@Gorden_Sun) “把家里的破烂设备用起来。 smolmaxxing：让老旧电视盒子和旧iPad也能在本地运行AI大模”

2026.11.13 03:30

把家里的破烂设备用起来。 smolmaxxing：让老旧电视盒子和旧iPad也能在本地运行AI大模型基于llama.cpp，专门针对老旧芯片重写了底层计算代码，删掉了模型里平时用不到的生僻词汇以节省空间，还让设备像翻书一样，把暂时用不到的模型数据存在硬盘里，需要时再快速读取，并提前预判加载下一步要用的数据。改造完成后，两款只有1G可用内存的老设备都成功跑起了AI对话。第三代小米电视盒子S运行2B规模的Qwen3.5时，每秒能生成7.7个token，甚至能以每秒5.1个token的速度运行16B规模的Ling-mini-2.0。2013年的第一代iPad Air在运行1.7B规模的Bonsai模型时，每秒生成速度达到了24到26个token，同样也能跑起16B的大模型。 Github：

显示更多