池建强 (@sagacity) “这篇长文我要强烈推荐一下： https://t.co/6VrJELTr0K X 上关于 Jev 发布的热议铺天盖” — TopicDigg
池建强
@sagacity
加入 January 2008
0 正在关注 0 粉丝
这篇长文我要强烈推荐一下：
X 上关于 Jev 发布的热议铺天盖地，但大多数都没说到点子上：“一个 JSON 分类器，1200 万次浏览？没错，我们确实在泡沫里。”普通 LLM 生成“90% 置信”这样的文字；它产出这几个词的概率，并不等于它有 90% 的概率是对的。然而我们恰恰在这个模式上搭建了欺诈筛查、内容审核、路由分派和风险评估：为逐 token 的生成付费，然后把一个未经验证的置信度声明，当成软件可以据此行动的概率。
Jev 的主张是：保留预训练 LLM 的知识，但把生成出来的置信度声明，换成直接从内部表示读出的决策概率。这些概率是针对真实结果训练出来的。给它共享的状态（state）、问题（questions）和允许的答案，它并行返回各概率分布，不生成任何文本。[1] 对于这一整类应用，这同时解决了两个问题：决策信号的可靠性，以及产生信号所浪费的计算。
只有一个问题：它不开源权重，TypeSafe 也拒绝分享他们的研究……所以，我（作者）来（尽力）代劳。
显示更多
