一条命令快速在本地运行大模型,架构师知道有点晚,走了不少弯路

程紫雪 2024-03-28 06:20:48

在当今的AI时代,AI 已经成为许多领域的关键技术。AI 的应用范围广泛,从自动驾驶汽车到语音助手,再到智能家居,都有着 AI 的身影。国家战略从+AI 到AI+ ,这是思维上重大转变。也告知我们,AI是程序员的当前最重要的方向。

之前安装部署大模型走了不少弯路。从下载模型到下载模型文件,到运行大模型。整个过程相对比较复杂。

今天我们推荐的是一条命令快速在本地运行大模型 ollama

Mac:

如果你使用的是Mac,那么你可以直接下载安装包,地址如下:

https://ollama.ai/download

Linux:

Linux同样也提供了一键安装命令:

curl -fsSL https://ollama.com/install.sh | sh

支持的模型列表

安装模型很简单,比如我安装qwen:4b (通义千问)

执行命令ollama run qwen:4b 即可完成安装

安装qwen:14b(通义千问)

执行命令ollama run qwen:14b 即可完成安装

体验一下,还是参数多的,模型运行效果好

4b的回答:

[root@ ~]# ollama run qwen:4b

>>> 今天是周几

今天是周三。

>>> 今天是周几

今天是周二。

>>> Send a message (/? for help)

14b的回答:

[root@gqa26 ~]# ollama run qwen:14b

>>> 今天是周几

今天是星期三。

>>> 今天是周几

抱歉,我无法提供实时日期信息。请查看您的设备或询问周围的人以得知今天的星期。

通过对比:4b的回答很傻,14b回答相对靠谱点。

0 阅读:0

程紫雪

简介:感谢大家的关注