桥水基金在 Mira Murati(OpenAI 前 CTO)新公司 Thinking Machines 平台上发的 Technical Report。
拿 Qwen3-235B 做私有化微调,在金融文档筛选和央行报告解读上直接落地。
结果挺硬核:定制模型 Accuracy 直接拉到 84.7%(错误率比最强闭源 GPT-5、Claude 4.8 模型低 29.8%),Inference Cost 暴降 13.8倍。
背后是高敏感数据:
Open-weight 是唯一解:敏感的金融核心数据,机构不可能天天往别人的云端送。国内 Qwen 系列长文本和微调上限足够高,成了华尔街追求 ROI 的完美底座。
Data Engine 是核心壁垒:他们砍掉了外包的脏数据,只拿 Hard Cases 让内部顶尖投资经理(领域专家)二次清洗。用高成本的“专家品味”洗出干净数据,才带高了模型天花板。
训练 Recipe 调优:交错批处理 (Interleaved Batching):多任务训练按循环顺序交错,Accuracy 提了 12.1%。CIPOS Loss + 非对称裁剪:换掉标准重要性采样,对策略偏离做非对称约束,又顶上去 10.1%。优秀教师政策蒸馏 (OPD):每 20 步动态用验证集表现最好的 Checkpoint 当 Teacher,再刷了 3.1% 的点。
通用模型的边际效应在特定高壁垒业务上是在递减的。
最近看到的一个趋势:用“顶级开源底座 + 极致干净的专家数据 + 针对性的微调工程”去卷出高性价比的垂直智能。
队伍都创办公司那融资是这个趋势标志性的事件
