APPLE和META今天正式官宣合作:Meta 正式发布了 Muse Spark Open,并与 Apple 合作,使这一超大规模模型可以通过 Apple 的 MLX 框架,在 Mac Studio 上实现本地推理。
其中最值得注意的是两个技术特点:1. MoE(Mixture of Experts)架构: 模型拥有 8160 亿总参数,但一次推理只激活约 420 亿参数。它仍需要容纳庞大的模型权重,却不必在每个 token 的计算中使用全部参数。2. 本地分布式推理: Apple 通过 MLX、低精度量化和 Thunderbolt 5 RDMA,把两台或四台 Mac Studio 连接起来运行超大模型。
这意味着前沿级别的大模型开始能够脱离传统数据中心,在办公室里的小型计算集群上运行。
不过,新闻中的“Mac computers”容易造成误解:目前 Meta 官方验证的配置至少是两台高端 Mac Studio,而不是一台普通 MacBook、Mac mini 或基础款 Mac Studio。
这条新闻至少传递了三个信号:第一,AI 模型能力和 AI 算力平台正在逐渐解耦。一个前沿模型不再只对应某一家芯片厂商或某一种云计算环境。第二,Apple 正在从单纯的 AI 终端设备厂商,向本地高性能 AI 计算平台供应商拓展。MLX、统一内存和高速互联,是这条技术路线的基础。第三,Meta 在利用开放模型建立新的竞争优势。它不一定需要主导硬件或云平台,只要开发者愿意在各种平台上使用 Meta 的模型,就有机会扩大其影响力。
这次合作最有想象空间的地方,不是两台 Mac Studio 能运行 816B 模型,而是未来个人和中小企业能否拥有真正实用、私有、成本可控的前沿 AI 系统。当然,要实现这一目标,还需要更低的硬件成本、更好的推理效率和更成熟的本地 AI 软件生态。