大模型推理乘上RISC-V快车?国内AI芯片创企推大模型系列一体机

玩数据还有点懒 2024-04-05 02:00:46

说起AI大模型的训练和推理,很多人的第一想法肯定是英伟达芯片,那么背后也就是ARM架构。统计数据显示,在AI芯片领域,英伟达一家独占七成市场份额;如果单独看AI大模型训练芯片,正如花旗研究分析师Christopher Danely提到的,英伟达的市场占比超过九成。

中国AI大模型产业呈现蓬勃发展的态势

目前的AI大模型按照部署方式进行了划分,主要分为云侧大模型和端侧大模型两类。具体而言,云侧大模型分为通用大模型和行业大模型;端侧大模型主要有手机大模型、PC大模型。

伴随多家科技厂商推出的AI大模型落地商用,各类通用、行业以及端侧大模型已在多个领域取得了显著的成果,如在金融、医疗、政务等领域,AI大模型已成为提升服务质量和效率的重要手段。

我国具有代表性的通用AI大模型主要包含科大讯飞的讯飞星火认知大模型、百度公司的文心一言大模型、阿里巴巴的通义千问大模型等;行业AI大模型主要涵盖蜜度的文修大模型、容联云的赤兔大模型、用友的YonGPT大模型;同时具有云侧和端侧大模型的端云结合AI大模型主要有vivo的蓝心大模型;端侧AI大模型主要以蔚来的NOMI GPT大模型为代表。

RISC-V在AI大模型领域的挑战

根据此前的报道,在一项专业基准测试中,专注高性能RISC-V芯片的Tenstorrent推出基于自有处理器内核的RISC-V CPU芯片,该芯片的评分领先于英特尔的Sapphire Rapids、英伟达的Grace和AMD的Zen4。这说明,在传统CPU方向上,RISC-V架构已经开始崭露头角,证明了RISC-V架构做高性能芯片的能力,那么在AI大模型方面会遇到哪些挑战呢?

在AI大模型这类型应用中,RISC-V架构第一大挑战肯定是内核本身。通过美国对于我国的AI芯片禁令就可以看出,AI芯片做大模型训练是有一定门槛的,低于这个门槛效果就会大打折扣,虽然RISC-V架构已经做了很多尝试,不过总体性能和长期深耕GPU领域的ARM架构肯定没法比。当然,英特尔和芯至科技这类尝试说明,RISC-V架构可以率先攻克大模型推理芯片市场以及终端一体机市场。

在性能背后就会牵扯出第二问题——专利。英伟达等芯片厂商以及Arm公司在高性能计算芯片领域储备了大量的专利,为了追求极致的运算性能,很多方式方法都已经被论证过了,并形成了专利,要绕开这些专利限制实现高性能计算芯片,进一步提升了相关厂商的研发难度。

第三个问题也是一个老生常谈的问题,那就是生态。AI大模型这类型的应用,无论是训练端还是推理端,都会是一个软硬件结合的系统,尤其是具体到某一个细分领域的推理应用,具有丰富的上层应用,也就需要更高效的软硬件融合。不过,目前对于RISC-V架构而言,很多生态还是荒漠,比如DDK、接口、中间件这些关键的生态工具,基本还没有。

免责声明:

1、本号不对发布的任何信息的可用性、准确性、时效性、有效性或完整性作出声明或保证,并在此声明不承担信息可能产生的任何责任、任何后果。

2、 本号非商业、非营利性,转载的内容并不代表赞同其观点和对其真实性负责,也无意构成任何其他引导。本号不对转载或发布的任何信息存在的不准确或错误,负任何直接或间接责任。

3、本号部分资料、素材、文字、图片等来源于互联网,所有转载都已经注明来源出处。如果您发现有侵犯您的知识产权以及个人合法权益的作品,请与我们取得联系,我们会及时修改或删除。

0 阅读:6

玩数据还有点懒

简介:感谢大家的关注