牛津大学的 FLAIR实验室等机构提出了 EGGROLLeshyperscale.github.io/“我们介绍了EGGROLL,这是一种新型的通用机器学习算法,提供了比传统进化策略高出百倍的训练速度。EGGROLL几乎消除了推理和训练之间的障碍,使我们能够轻松地为推理微调大型语言模型(LLM),或从零开始训练新的架构。”用这种方法,在大规模语言模型的推理微调场景, 相同的硬件和时间预算下,效果超越了 GRPO 。同时这种方法可以完全基于整数运算来从零开始语言模型预训练。科技先锋官


牛津大学的 FLAIR实验室等机构提出了 EGGROLLeshyperscale.github.io/“我们介绍了EGGROLL,这是一种新型的通用机器学习算法,提供了比传统进化策略高出百倍的训练速度。EGGROLL几乎消除了推理和训练之间的障碍,使我们能够轻松地为推理微调大型语言模型(LLM),或从零开始训练新的架构。”用这种方法,在大规模语言模型的推理微调场景, 相同的硬件和时间预算下,效果超越了 GRPO 。同时这种方法可以完全基于整数运算来从零开始语言模型预训练。科技先锋官

