holy fucking shit,大模型计费的底层漏洞,被人用一张图片捅穿了🤯
给大模型喂长文本的成本,被这个野路子直接砍了六成,
这款叫pxpipe的本地代理工具,会自动拦截发往Anthropic接口的请求,
把系统提示,工具文档,历史对话,代码文件这些高密度内容,全部打包成图片再发给模型,
只把最近对话和关键内容保留纯文本,兼顾缓存效率,
原理说穿了很简单,图片按像素尺寸固定计费,和文本密度无关,一张1928×1928的图片,
能塞进去九万两千多字符,只消耗四千七百多个视觉token,
折算下来成本直接打四折,这套思路根源来自DeepSeek的光学压缩研究,通过图像传输文本的效率接近纯文本的十倍,准确率还很高,
实测在Fable 5上跑编码任务表现稳定,准确率损失极小,特别适合吃token的编码智能体场景,
当然也有明显短板,ID,哈希值,密钥这类精确字符串容易出现识别误差,目前对Fable 5适配最好,
其他模型效果有差异,有人觉得这是钻定价漏洞的取巧玩法,也有人觉得这是真的效率提升,
对重度使用编码智能体的开发者来说,省下来的都是真金白银hhh
显示更多