DC娱乐网

韩国人越南人现在估计笑不出来了,当初费那么大劲搞自己那套文字系统,又是改字母又是

韩国人越南人现在估计笑不出来了,当初费那么大劲搞自己那套文字系统,又是改字母又是推新政策,折腾了好些年。谁能想到人工智能时代来得这么快,一眨眼全世界都在拼AI。折腾了半天,连入场券都没摸着。

人工智能这东西,说到底就是拿海量数据去“喂”出来的,你给的数据越多、越杂,AI就越聪明;数据不够,AI就笨得要命,问啥啥不会,像个没有见过世面的小孩。

现在全世界能打的大模型,训练用的语料基本就两种:英文和中文。英文不用多说,从计算机发明那天起就是科技界的硬通货,前沿论文、开源代码、技术文档,全是英文写的。

中文更厉害,十几亿人天天在网上聊天、发帖、写文章、拍视频,产生的数据覆盖了生活的方方面面。你想想,十几亿人每天产生的数据量有多大?这些数据喂出来的AI,能不聪明吗?

法语、阿拉伯语这些,算第二梯队,搞点本地化的应用还行,出不了圈。至于韩语和越南语,情况就有点尴尬了,韩国满打满算五千万人出头,越南也就不到一个亿。就这么点人,天天上网能产生多少数据?数据池子太浅,根本喂不饱AI。

有数据显示,目前国际主流大模型的训练语料里,英文占比超过百分之九十,中文连百分之五都不到。有人可能要问,中文才百分之五,这算什么优势?关键是总量。英文数据再多,那是人家的;中文这百分之五,是十几亿人撑起来的。韩语、越南语在训练语料里的占比,连百分之一都够呛。

更扎心的是互联网上的内容分布,根据W3Techs2026年3月的最新数据,英语占了全球将近一半的网页内容,西班牙语和德语各占百分之六,日语百分之五,法语百分之四点五。而中文在全球网站内容里的占比只有百分之一点三,排名第十二位。

韩语呢?百分之零点九,排第十七。越南语百分之一点零,排第十三。看着好像差距不大,但你要知道,互联网内容的存量是过去几十年累积下来的。中文虽然网页占比不高,但中国网民规模已经达到十一亿两千五百万,互联网普及率突破百分之八十。

这十一亿多人每天都在产生新的数据,每天都在给中文AI“喂食”,韩语和越南语呢?用户基数就那么大,产生的数据量根本不是一个量级。

有人会说,韩国不是有三星吗?科技那么发达,AI还能落后?科技发达和语言数据是两码事。三星再厉害,韩国人平时上网聊天、写文章、发帖子,用的还是韩语。韩语的数据总量就那么多,你再怎么折腾也变不出新数据来。

有研究指出,由于韩语数据稀缺,主要用英文或中文数据训练出来的大模型,在处理韩语时经常出现“幻觉”回答,就是瞎编乱造。越南的情况也差不多。当初搞文字改革的时候,恐怕没人想到几十年后会遇上AI这关。

有些赛道,真不是你想上就能上的,老底子不够厚,连入场券都拿不到。韩国和越南当初忙着搞自己那套文字的时候,大概没想到,最终决定话语权的不是文字本身,而是文字背后有多少人在用、在写、在产生数据。

人工智能的竞争,说到底拼的是数据,没有足够的数据,再好的算法也白搭。这就像一个厨师,手艺再好,厨房里没菜,也做不出饭来。英文有全球几十亿人几十年的积累,中文有十几亿人每天源源不断地输入,而韩语和越南语的那点数据,连塞牙缝都不够。

当初费那么大劲折腾文字,现在好了,AI时代一来,全傻眼了。