元始智能是一家国产开源非 Transformer 架构大语言模型提供商，其核心产品 RWKV 兼具 Transformer 和 RNN 的优势：推理效率高且恒定，显存占用少且恒定，支持无限上下文，对芯片友好。

近日，RWKV 元始智能，投资方为陆奇于 2018 年创立的奇绩创坛和某匿名投资者。目前元始智能已开始继续融第二轮。

RWKV 是国产开源的首个非 Transformer 架构的大语言模型，目前已经迭代到第六代 RWKV-6。

RWKV 作者彭博在 2022 年 5 月开始训练 RWKV-2，当时只有 1 亿（100M）参数规模，后续在 2023 年 3 月训练了 RWKV-4 140 亿（14B）参数版本。

RWKV-5 的 15 亿和 30 亿参数版本已发布，且 70 亿参数版本会在 2024 年 1 月发布。而 RWKV-6 的 15 亿和 30 亿参数版本将在 2024 年 2 月发布，然后将继续训练 70 亿和 140 亿参数版本。

RWKV-5 和 RWKV-6 系列的特点是支持全球 100 + 种语言，也支持几十种编程语言，目前可以在 体验在线 Demo。