🔻这是 tempNull 测试的 Deepseek-R1 不同模型最便宜、可用性最高的 GPU 配置。
🔻所有这些配置都已使用 vLLM 进行了高吞吐量测试，并使用 Tensorfuse 无服务器运行时自动扩展。
🔻671B 的完整模型，8张 H100 就能跑。
🔻而实际上配置本地研究助手，8B 的模型就挺好用，万把块钱的 A10G 或者 3090 就能跑的飞起。
🔻这是tempNull测试的Deepseek-R1不同模型最便宜、可用
恒河水包容一切
2025-01-27 10:36:41
0
阅读：0
