存32层,干56层的活
昨晚十一点多,我刷到商汤开源了一个新模型,SenseNova Loop-9B。
名字很朴素,里面有个数把我按住了。它约9B参数,32个解码层。第4到第27层这24层,权重只存一份,连着走两遍。
结果是一次前向传播,它做了56次层计算。存32层的账,干56层的活。
这两年行业都在加参数。参数往上走,显存跟着走,卡和电也跟着走。这条路清楚,也贵。
商汤问的是另一件事。现有的这些,能不能再用一遍。
关键在第二遍怎么走。第二遍的输入是第一遍的输出,写成B(B(h))。两遍一模一样走过,那才是白费。带着上遍的结果再走,才叫加深。
省下来的东西很实在。4bit量化后权重约4.9GB,256K上下文只要约15GB显存。商汤说,低显存的卡也能跑出接近27B模型的水平。
真正有意思的是芯片那边的反应。
沐曦宣布率先完成Day 0适配,寒武纪当天跟上,天数智芯同步。
寒武纪的办法叫静态展开,把它当成56个顺序层来跑,不同槽位共用同一份权重。显存还是32层的账。
我盯着这句话看了两遍。软件省下的钱,得硬件点头才算数。模型敢这么设计,是有人愿意替它认这笔账。
这像揉面。面要揉两遍,第二遍揉的还是第一遍那团面,不用再倒一次面粉和水。同一份材料多走一遍,出来还是一团面,只是更筋道。
所以我看一家公司的效率,会多看一件事,它有没有把已有的东西认真用第二遍。
该说的也得说。9B追27B是官方口径,NL2Repo那一项它还落后3.24分,算不上全面打平。
你手里那件重复了很多遍的事,第二遍走的时候,有没有带着第一遍的结果进去。