在当今的AI时代,AI 已经成为许多领域的关键技术。AI 的应用范围广泛,从自动驾驶汽车到语音助手,再到智能家居,都有着 AI 的身影。国家战略从+AI 到AI+ ,这是思维上重大转变。也告知我们,AI是程序员的当前最重要的方向。
之前安装部署大模型走了不少弯路。从下载模型到下载模型文件,到运行大模型。整个过程相对比较复杂。
今天我们推荐的是一条命令快速在本地运行大模型 ollama
Mac:
如果你使用的是Mac,那么你可以直接下载安装包,地址如下:
https://ollama.ai/downloadLinux:
Linux同样也提供了一键安装命令:
curl -fsSL https://ollama.com/install.sh | sh支持的模型列表
安装模型很简单,比如我安装qwen:4b (通义千问)
执行命令ollama run qwen:4b 即可完成安装
安装qwen:14b(通义千问)
执行命令ollama run qwen:14b 即可完成安装
体验一下,还是参数多的,模型运行效果好
4b的回答:
[root@ ~]# ollama run qwen:4b
>>> 今天是周几
今天是周三。
>>> 今天是周几
今天是周二。
>>> Send a message (/? for help)
14b的回答:
[root@gqa26 ~]# ollama run qwen:14b
>>> 今天是周几
今天是星期三。
>>> 今天是周几
抱歉,我无法提供实时日期信息。请查看您的设备或询问周围的人以得知今天的星期。
通过对比:4b的回答很傻,14b回答相对靠谱点。