DC娱乐网

多模态大模型的研发范式,正在被彻底重构。今天,商汤科技联合南洋理工大学发布了最新

多模态大模型的研发范式,正在被彻底重构。

今天,商汤科技联合南洋理工大学发布了最新技术成果:NEO-unify。

这是一套真正实现“原生、统一、端到端”的多模态模型架构,其最核心的突破在于:

彻底砍掉了长期以来行业依赖的视觉编码器(VE)和变分自编码器(VAE)。不再通过“组件拼凑”来实现感知与生成,回归第一性原理,直接以近乎无损的像素和文字作为原生输入。

通过创新的混合变换器(Mixture-of-Transformer, MoT)架构,该模型在同一个体系内打通了视觉与语言的“理解+生成”双向能力。 彻底告别VE与VAE!商汤硬核重构多模态:砍掉所有中间编码器