Feiteng (@FeitengLi) “桥水基金在 Mira Murati（OpenAI 前 CTO）新公司 Thinking Machines 平台上发的 Techn” — TopicDigg
Feiteng
@FeitengLi
Speech · Image · Video · LLM multimodal generative models
Research → Infrastructure → Built AI algo serving 200M+ users
公众号: Generative AI
Open to opportunities
加入 November 2016
1.3K 正在关注 3.5K 粉丝
桥水基金在 Mira Murati（OpenAI 前 CTO）新公司 Thinking Machines 平台上发的 Technical Report。
拿 Qwen3-235B 做私有化微调，在金融文档筛选和央行报告解读上直接落地。
结果挺硬核：定制模型 Accuracy 直接拉到 84.7%（错误率比最强闭源 GPT-5、Claude 4.8 模型低 29.8%），Inference Cost 暴降 13.8倍。
背后是高敏感数据：
Open-weight 是唯一解：敏感的金融核心数据，机构不可能天天往别人的云端送。国内 Qwen 系列长文本和微调上限足够高，成了华尔街追求 ROI 的完美底座。
Data Engine 是核心壁垒：他们砍掉了外包的脏数据，只拿 Hard Cases 让内部顶尖投资经理（领域专家）二次清洗。用高成本的“专家品味”洗出干净数据，才带高了模型天花板。
训练 Recipe 调优：
交错批处理 (Interleaved Batching)：多任务训练按循环顺序交错，Accuracy 提了 12.1%。
CIPOS Loss + 非对称裁剪：换掉标准重要性采样，对策略偏离做非对称约束，又顶上去 10.1%。
优秀教师政策蒸馏 (OPD)：每 20 步动态用验证集表现最好的 Checkpoint 当 Teacher，再刷了 3.1% 的点。
通用模型的边际效应在特定高壁垒业务上是在递减的。
最近看到的一个趋势：用“顶级开源底座 + 极致干净的专家数据 + 针对性的微调工程”去卷出高性价比的垂直智能。
@sgl_project @vllm_project 队伍都创办公司那融资是这个趋势标志性的事件
显示更多
Bridgewater used their unique financial knowledge and partnered with us on @tinkerapi to fine-tune a model that helps their analysts focus on what's important. Experts improving AI that empowers experts.
显示更多
