indigo (@indigox) “联想只会在模型的“权重”里发生；检索的瓶颈是寻址“直觉”，而非”存储“！KV Cache 的比” — TopicDigg
indigo
@indigox
加入 March 2007
0 正在关注 0 粉丝
联想只会在模型的“权重”里发生；检索的瓶颈是寻址“直觉”，而非”存储“！KV Cache 的比特效率极低，单篇维基词条要耗 80GB 的 HBM，而 70B 的 Llama 全部权重才 ~100GB，但却“记住了整个互联网”，虽然有失真👀 反观人类也一样，记再多笔记不如在大脑里留下一点痕迹⚡️ 直觉大于记忆 ...
显示更多
