腾讯官方发布了hy3的4bit和1bit量化版。1bit版本大小已经下降到了 85.5GiB，如果你有96GB显存的卡可以在单张上跑了。而且据说性能还行：“真正让我们有些意外的是 1bit 版本。按直觉，压到 1bit 附近模型多少会变笨，但我们的 Hy3 1bit 版本在主流任务上依然站得很稳。长文理解几乎和原始模型持平，Agent 与代码方向也保持得相当好，只有小幅回落。放到日常的编码辅助、工具调用、长文档处理和常规问答任务上，它已经完全够用。”

同时还提供了 llama.cpp 的 patch，补齐了对 Hy3 模型结构的 MTP 的支持。