前OpenAI的研究员Diogo Almeida发布了一款新型模型,名字叫Jev。它是一种“放弃生成文字、只输出类型化概率决策”的模型。
啥意思呢?就是说,它试图把大模型从会聊天、会写长文的生成器,变成软件可直接调用的概率决策函数。
其用并行概率决策,来替代逐token字符串生成,具有结构化、可校准、低延迟、低成本。
Almeida想琢磨明白的问题是:模型的聊天能力早已超过人类,可真正可嵌入代码的自动化,却仍有缺失。
Jev背后是一套全新栈:新架构、并行采样器以及新训练方法RLCD。就像前沿智能函数调用,输入非结构化状态/程序状态,输出预先定义好的类型化概率决策。放弃自由字符串生成,换来无类型错误、schema内不生成非法/幻觉式输出,并自带置信度。
它抢的应是海量微决策场景,每次请求背后,有几十甚至上百个小判断的基础设施层。
你可以把这个项目塞进业务系统里,作为判断器,协助分类、路由、打分、抽取,实时应用里的快速判断。
有需要的朋友快来其实吧!
项目地址:typesafe点ai/blog/introducing-system-one-models-and-jev
白露接好运·分2万终于等到24节气活动!头条超火的【白露接好运】活动来啦!🧧接一颗露珠领一份红包,点我一起玩 >