为程序员而生,精通80多种编程语言的AI模型Codestral

开心盖土 2024-06-01 07:36:19

这里所有文章均来自

微信公众号“火星AIGC”

想要看到更多更新的AI前沿信息、AI资讯和AI工具实操,请关注微信公众号“火星AIGC”。

昨天,Mistral 发布了 Codestral,这是一种专门帮助程序员编写代码的 AI 模型,Codestral 精通 80 多种编程语言,包括 Swift、Bash、Python、Java、C++ 和 JavaScript 等,有220亿参数和32K 上下文窗口。

Mistral 是一家估值 60 亿美元的法国 AI 公司,其知名的旗舰模型是Mistral Large。这次发布的 Codestral 虽然宣称是开放模型,但并不使用我们熟知的Apache 2.0或MIT 等开源许可,而是其公司自己的Mistral AI 非生产许可证。意味着 Codestral 除了开发例外,禁止用于任何商业使用,并特别说明禁止“在公司业务活动中,员工进行任何内部使用”。

评估表现

跟目前几种专业代码编程模型相比,Codestral 以最小的参数实现了更大的上下文、更高的性能和速度。对已经试用过的程序员来说,快是第一印象。

以最常用的Python编程,使用四个基准测试:HumanEval pass@1、MBPP sanitised pass@1 来评估 Codestral 的 Python 代码生成能力、CruxEval 来评估 Python 输出预测,以及 RepoBench EM 来评估 Codestral 的远程存储库级代码完成。这四项评估得分上除了MBPP上略低于国内公司幻方量化发布的开源代码模型 DeepSeek Coder 33B 外,其他分数都领先。以 Spider 基准评估 SQL 方面的表现上,评分略低于开源的 Llama 3 70B 通用模型。

在六种不同的编程语言(C++、bash、Java、PHP、Typescript 和 C#)中评估 Codestral 在多个 HumanEval pass@1 中的表现上,4项得最高分,评价分上领先。

以 FIM 基准,在使用 Python、JavaScript 和 Java 中的填空性能上 Codestral 的领先。

怎么使用

可以在抱抱脸上直接下载:

huggingface.co/mistralai/Codestral-22B-v0.1

在官方的免费Chat页面使用:

chat.mistral.ai/chat

API使用上,codestral.mistral.ai 有 8 周的免费测试期。在 api.mistral.ai上按token计费使用。

应用程序框架中使用。Codestral 已集成到 LlamaIndex 和 LangChain 中。

使用 Tabnine VSCode 插件与 Codestral 聊天

VSCode/JetBrains 集成。Continue.dev 和Tabnine使开发人员能够在VSCode和 JetBrains 环境中使用 Codestral,现在能够使用 Codestral 聊天和生成代码。

使用 Continue.dev VSCode 插件与 Codestral 进行代码生成、交互式对话

尽管 Codestral 在性能改进方面也只是渐进式的,并没有多大突破性的改进,但至少在专业编程模型上多了一个选择。

0 阅读:0

开心盖土

简介:感谢大家的关注