腾讯玄武实验室最近推出了一套 DeepSeek 满血版的私有化部署优化方案:
使用玄武实验室的软硬件优化方案,只需不到 4 万元人民币的硬件就可部署 DeepSeek-R1-671B-Q8,峰值生成速度 7.17 tokens/s,即每秒输出约 10 个汉字,且整机功耗和噪音和家用台式机类似。
对比传统的 GPU 方案,部署成本降低了97%。
腾讯玄武实验室最近推出了一套 DeepSeek 满血版的私有化部署优化方案:
使用玄武实验室的软硬件优化方案,只需不到 4 万元人民币的硬件就可部署 DeepSeek-R1-671B-Q8,峰值生成速度 7.17 tokens/s,即每秒输出约 10 个汉字,且整机功耗和噪音和家用台式机类似。
对比传统的 GPU 方案,部署成本降低了97%。
猜你喜欢
【6评论】【6点赞】
【4评论】【4点赞】
【58评论】【56点赞】
【371评论】【102点赞】
【887评论】【218点赞】
【2评论】【27点赞】
【59评论】【80点赞】
作者最新文章
热门分类
科技TOP
科技最新文章