Meta正式发布他们迄今最强的新一代开源大语言模型Llama3，开源模型的质量又将迎来再一次飞跃。Llama 3，包括预训练和指令调优的8B和70B两种参数的模型。Meta称Llama 3 8B 和 70B 模型只是为 Llama 3正式版所做努力的开始。他们目前正在训练的的最大型号为 400B+ 参数，预计7月推出！

性能测试：

预训练和指导微调模型是目前 8B 和 70B 参数尺度上最好的模型。

后期训练程序的改进大大降低了错误拒绝率，提高了对齐度，并增加了模型响应的多样性。

推理、代码生成和指令跟踪等能力也有了很大提高，这使得 Llama 3 的可操控性更强。

模型架构：

自回归语言模型:Llama 3采用自回归方法生成文本，基于优化的变换器(Transformer)架构。

Grouped-Query Attention(GQA):在模型中使用了分组査询注意力机制，提高了在大规模参数下的推理可扩展性。

训练数据：

Llama 3 在超过 15T 的词库上进行了预训练，这些词库都是从公开来源收集的。

训练数据集是 Llama 2 的七倍，包含的代码数量也是 Llama 2 的四倍。

为了应对即将到来的多语言使用情况，Llama 3 的预训练数据集中有超过 5% 的高质量非英语数据，涵盖 30 多种语言。

开发了一系列数据过滤管道。这些管道包括使用启发式过滤器、NSFW 过滤器、语义重复数据删除方法和文本分类器来预测数据质量。

如何使用：

详细介绍:https://ai.meta.com/blog/meta-llama-3/

模型下载:https://llama.meta.com/llama3/

在线体验:meta.ai

高性价比GPU资源：https://www.ucloud.cn/site/active/gpu.html?ytag=gpu_%E6%96%87%E7%AB%A0_tongyong_toutiao