DC娱乐网

Ollama v0.34.0:本地模型直接住进了 ChatGPT 桌面端 Ol

Ollama v0.34.0:本地模型直接住进了 ChatGPT 桌面端
Ollama 这次更新最大的变化是:可以直接在 ChatGPT 桌面端里调用 Ollama 的模型。一个主打本地运行的开源工具,一个是 OpenAI 自己的客户端。这个组合确实有点意思。
Ollama 仓库目前有 18 万星标、一万七千多个分支,建于 2023 年 6 月。这次发布由 21 个提交构成,下面说几个真正影响日常使用的变化。
本地模型接入 ChatGPT 桌面端
这是主要更新。装好之后,可以继续用原来的 ChatGPT 桌面端,底层换成跑在 Ollama 里的开源模型,设置入口在 macOS 应用的对应位置。
从提交记录看,这块整合比单纯加个代理要细:
用 Ollama 启动时默认打开 Codex
Codex 的自动审查走你选中的那个模型
换主机时保留 Codex 配置
连接状态提示文案向 Claude 看齐
最后一条透露出更多信息:Ollama 在这条集成路线上不止服务 ChatGPT 一家,Claude 那边也有对应接入,两边在统一交互细节。
技术上看,这个集成走的是桌面代理路径——Ollama 在本地起一层转发,把客户端请求路由到选中的模型。所以提交里有「加固代理处理」「跨主机保留配置」这类修补。代理层稳不稳,直接决定这条路能不能长期跑通。
对只想在 ChatGPT 界面里试开源模型的人来说,这比新装一套客户端省事。
Apple Silicon 上的结构化输出变快了
这个改动更偏技术,但对 Mac 用户很实在。结构化输出(强制模型按指定 JSON 结构返回结果)在 Apple Silicon 上一直偏慢,这次在 MLX 运行器上改了两处:
在结构化输出下启用投机解码
把结构化输出编译成 xgrammar 的语法约束
大白话翻译:以前要老老实实一个 token 一个 token 地卡格式,现在可以先并行猜几个再校验,同时用更高效的语法约束保证输出合法。官方说法是「改进了 Apple Silicon 上的结构化输出性能」,没给具体倍数,但方向明确。
兼容 OpenAI 客户端的两个新能力
工具搜索。支持 OpenAI 兼容客户端的客户端工具搜索,调用 ID 统一用 tsc_ 前缀。意思是让模型自己从工具列表里找工具,不必把所有工具一次性塞进上下文。工具一多,上下文窗口就是最稀缺的资源,这项能力省的就是这部分开销。
响应压缩。给 Codex 加上压缩支持,用来应付长会话里上下文被占满的情况。细节抠得挺细:压缩时保留图片,压缩完还是溢出就重试,到网络搜索上限时正常收尾。长任务最容易死在这里——跑到一半上下文爆了,前面的工作白费。
稳定性修复
发布说明没细讲,但提交里有两条值得注意:修掉了进度和调度里的数据竞争,以及几个针对 Codex 桌面代理的加固。数据竞争平时不显眼,一旦触发就是随机崩溃、极难复现的疑难杂症。修掉它,比加新功能更有价值。
这版该不该升
判断标准很简单:
在 Mac 上用 Ollama 跑结构化输出(数据抽取、函数调用),这一版值得升。
想在 ChatGPT 桌面端里切换本地模型,这版是入口,但目前只支持 macOS。
在跑长任务,响应压缩加上那批修复,能少几次中途掉链子。
Ollama 这次的路数很清楚:不去跟客户端抢用户,直接钻进用户已有的工作流里。不用为本地模型换一整套工具,迁移成本几乎为零。