昨日,马斯克旗下人工智能公司xAI正式以Apache 2.0开源协议开源了其首款商业化大型语言模型Grok-1,引发全球AI界的广泛关注。网红马斯克也让Grok-1自带了网红属性，而且其高达3140亿参数的庞大体量,也成为开源大模型中规模最大的存在。但是,深入分析其公开表现数据后,我们发现Grok-1的效果并不太令人振奋,其参数规模虽大,却未能体现出相应的性能飞跃。

Grok-1简介：xAI首款商业LLM

作为xAI公司的首个面向商业化的大语言模型产品,Grok-1的开源无疑是一件具有里程碑意义的大事。Grok-1采用了先进的混合专家MoE架构,总计拥有8个专家模块,每个模块430亿参数。不过,在实际推理时,仅有2个专家模块会被激活使用,因此每次的有效参数约为860亿。

Grok-1成为目前开源领域中参数总量最高的大模型。其3140亿参数的总量,是目前排名第二的阿里巴巴Qwen1.5-72B模型(720亿参数)的4倍多。可以说,Grok-1一经开源,就成为了新一代大规模大语言模型的代表作。

而马斯克选择以Apache 2.0协议开源发布Grok-1,被认为是在向OpenAI的闭源做法展开直接反击。Apache 2.0作为一种宽松的许可协议,任何企业或个人均可免费获取Grok-1的权重和架构,还可在此基础上进行商业化开发,无需支付任何费用。

推理能力一般 未能充分彰显超大参数优势

令人惋惜的是,Grok-1在一系列公开测评中的表现,并没有完全展现出其3140亿参数规模所应具备的优越实力。

比如在MMLU多学科测评中,Grok-1仅得73分,虽然这一成绩已经超过了GPT-3.5和LLaMa-2 70B,但远远落后于同为开源的Qwen-72B(720亿参数)模型。在数学推理方面的GSM8K测试中,Grok-1的62.9分也不及同MoE架构450亿参数的Mistral-7B模型。

我们以开源领域最知名的Mixtral 8x7B MoE模型(450亿参数)作为参照对比。尽管Mixtral的总参数和每次推理激活的参数(120亿)都远逊于Grok-1,却能在MMLU取得71分、GSM8K达到74.4的成绩,两者评测数据均优于Grok-1。

很明显,马斯克团队在Grok-1上投入了数倍于同类模型的巨量参数,但收效却谈不上理想。Grok-1的参数规模虽大,却未能通过参数扩展充分挖掘超大规模模型的潜力,造成资源利用率低下。

资源需求之大 民用设备望尘莫及

Grok-1模型大小为296G，而作为一个超大规模模型,对于硬件资源的需求自然也是相当可观的。据透露,想要在半精度上流畅运行Grok-1模型,至少需要628GB的超高显存。即使以目前主流的英伟达顶级游戏显卡RTX 4090来计算,需要24张左右方可满足。

考虑到4090单张显卡的均价在国内已经高达2万元以上,如此庞大的硬件投资无疑是民用普通用户难以承受的。我们很难想象,在未来相当长的一段时间内,能有多少个体或中小企业有能力运行一个Grok-1。

因此,尽管Grok-1以Apache 2.0协议开源,理论上任何人都可以免费获取。但由于硬件需求之高昂,对其进行商业化应用部署的门槛非常高。

Grok-1生成提示词后由Midjourney生成的3D神经网络图

Grok-1仍存不透明因素 改进空间有待发掘

Grok-1到底为何表现如此平平,其潜在的改进空间又有多大,目前还很难评判。主要原因是,xAI公布的Grok-1信息相当有限,关于其内部结构和运行机制细节缺乏透明度。

例如,xAI团队曾自诩采用了一套高效的基础设施进行Grok-1的训练,但具体架构并未公布透明。再者,Grok-1在词元化器中使用了13万tokens词表,规模在开源模型中尚属罕见,其中又包含了诸如"\<\|controlX\|\>"这一类意义不明的特殊词元。

此外,据悉Grok-1还具备一些特殊功能,比如SuperPrompt能力等。但由于缺乏信息透明,我们无从判断这些技术是基于人工设计的技巧还是模型自主习得,也无法评估它们对模型整体性能的影响程度。

正因如此,尽管开源,Grok-1的优化改进空间和发展潜力也就无从评估。我们只能等待xAI公司能够在未来进一步放宽信息透明度,以便研究人员和开发者能全面了解这一参数巨无霸的内部运作情况。

开源挑战ChatGPT

Grok-1开源的一个重要意义,恐怕是向OpenAI的ChatGPT等商业化闭源产品发起了直接挑战。尽管Grok-1目前是以原始基础模型的形态开源,并未针对任何下游应用进行微调,但其3140亿参数巨量规模本身就是一大吸引力所在。Grok-1的加入，使开源阵营更加强大，我们拭目以待双方在大模型领域的进一步博弈。