研究人员执行了大规模的进化模拟,分析了超过一万亿条随机路径。

劳伦斯伯克利国家实验室的研究人员开发了一种设计和训练框架,使计算机能够利用热噪声作为能源,而不是将其视为障碍。
这项研究表明,"热力学计算"现在可以模拟神经网络,执行复杂的非线性机器学习任务。
这一切都能在室温下进行,并利用电子的微观振动——而传统计算机需要消耗大量能源来抑制这种振动。
颠覆热噪声的传统角色
对于经典计算和量子计算而言,热量被视为敌人。热噪声,即电子等电荷载流子的随机振动,会扰乱数据并导致错误。
为了对抗这一点,经典计算机以高功耗运行来"淹没"噪声,而量子计算机则常常需要极度冷却至接近绝对零度。
热力学计算则颠覆了这种模式。"热力学计算是由噪声驱动的,"论文合著者、分子铸造厂的 staff scientist Stephen Whitelam 解释道。
"热力学计算的前提是,如果你将一个能量尺度与热能相当的物理装置置于一旁,它会在热波动驱动下随时间改变状态。我们的目标就是对其进行编程,让这种随时间演化过程能执行有用的计算。"
克服"等待"难题
此前,热力学计算面临两大主要障碍。第一个障碍涉及平衡态限制,这意味着研究人员之前必须等待系统进入其能量最低状态后才能进行计算,这个过程通常太慢,不实用。
除此之外,该领域还面临线性限制,即技术很大程度上局限于简单的线性代数运算。这使得它无法满足现代人工智能复杂、非线性的需求。
该团队通过数字模拟绕过了这些障碍。他们证明,通过使用非线性组件,可以训练热力学计算机在特定时间执行计算,无论系统是否已达到平衡态。
这使得硬件能够更像传统处理器一样运行——快速且可预测——但功耗却只是其一小部分。
训练"随机"大脑
由于热力学计算机是"随机"的,这意味着由于热量的随机特性,没有两次运行是完全相同的,因此标准的人工智能训练方法并不适用。
为了解决这个问题,研究员 Corneel Casert 利用了 NERSC 的 Perlmutter 超级计算机。Casert 并行使用 96 个 GPU,运行了"进化模拟",评估了超过一万亿条含噪声的轨迹。
通过使用遗传算法,该团队能够为这个由噪声驱动的系统找到完美的参数。
"通过数字模拟来训练一个热力学神经网络的成本很高,"Casert 补充道。
"但是,一旦训练完成并构建为物理硬件,我们就可以在该硬件上以极低的能耗进行推理。"
低功耗人工智能的未来
这一发展带来的影响是巨大的。目前,一次谷歌搜索所消耗的能量就足以为一个六瓦的 LED 灯泡供电三分钟。
通过将繁重的人工智能推理任务转移到热力学硬件上,能源成本可能会大幅下降。
伯克利实验室团队目前正在寻找实验合作伙伴,以将这些数字设计转化为物理硬件。
如果朋友们喜欢,敬请关注“知新了了”!