标签: GPU
自托管GPU集群编排：把散落的显卡变成一台AI服务器先说个扎心的现实
自托管GPU集群编排：把散落的显卡变成一台AI服务器先说个扎心的现实：手里捏着几张显卡，想自己部署大模型，事情比想象中麻烦得多。单卡还能凑合跑，装个推理工具就能跑起来。但凡有两三台机器、每台插着不同的卡，要同时跑vLLM和SGLang两套引擎，那就等着折腾吧——手动装环境、配端口、写启动脚本，模型一更新还得一台台重来。租云上GPU实例按小时计费，短期用用还行，长期跑推理服务，账单比显卡折旧还快。inferna-next就是冲着这个来的。这是一个刚冒出来的开源项目（GitHub上51颗星，Apache-2.0协议），定位是自托管GPU集群的"控制平面"：你只管选模型，它自动决定跑在哪台机器、用哪张卡、上哪个引擎。系统架构整体分三层：中央服务器：基于FastAPI，负责认证、权限、模型目录、实例调度，对外提供网页界面和REST、gRPC接口。Worker代理：跑在每台GPU主机上，每5秒汇报一次显卡状态和实例健康情况。服务器下发指令后，Worker负责拉起或销毁推理容器（vLLM或SGLang），全程走Docker。数据层：PostgreSQL存数据，Prometheus+Grafana做监控。一条dockercompose命令就能把整套东西跑起来。部署体验内置模型目录，Qwen、Llama、Phi、DeepSeek、BGE、Whisper、Qwen2.5-VL都在里面。选一个模型点部署，它会自动选有空闲显存的机器、选合适的引擎、按"低延迟"或"高吞吐"档位调参。多厂商GPU也在支持范围内。NVIDIA走NVML，AMD走ROCm，没有真卡还能开模拟模式。另外还内置了JWT登录、基于角色的权限控制和监控面板。现状项目在早期，文档和稳定性都需要自己踩坑。它的方向有一定价值——把"跑模型"这项重复劳动自动化。对手里有几张卡、想绕开云厂商的团队，可以留意一下后续进展。多机调度和故障恢复做扎实之后，自托管模型服务的门槛会低一些。
AI正在慢慢变成一场有钱人的游戏。黄仁勋牵头联合阿波罗、贝莱德、黑石、博枫、高
AI正在慢慢变成一场有钱人的游戏。黄仁勋牵头联合阿波罗、贝莱德、黑石、博枫、高盛、KKR六大华尔街巨头，官宣搭建算力融资平台，计划长期动员超过5000亿美元的第三方资本投入AI算力基础设施建设36氪。简单来讲，如果AI企业拿不出足够现金采购GPU，这套平台就帮忙对接华尔街金主提供融资支持。目前完整的贷款利息条款尚未敲定。英伟达内心最担心AI行业热度降温，芯片需求下滑；但GPU硬件成本高昂，很多客户一次性全款采购压力巨大。于是英伟达牵线手握巨额资金的金融巨头，通过算力融资租赁模式，降低产业链企业采购芯片的现金流门槛，以此维持行业算力采购的循环运转。谷歌也走出了一条高度相似的道路，Anthropic就是谷歌TPU数据中心最大的客户。但是AI创业公司很难一次性拿出数百亿现金买下算力硬件，于是谷歌引入财团资金，由SPV特殊目的实体出资买下整套TPU算力资产，再长期租赁给Anthropic，公司后续依靠经营收入逐年支付租金。算力赛道的成本门槛越来越高，GPU采购、数据中心电费等各项开支水涨船高，高昂的前期投入，已经让现金流薄弱的参与者很难亲自自建大规模算力。这场算力的击鼓传花游戏想要继续运转下去，就必须源源不断有大额资本进场，为硬件采购、AI创业公司输血。但是整套模式背后潜藏不小隐患：算力投资门槛持续抬升，资金投入成本越来越贵，最终市场还是要看AI企业能不能实现盈利、客户是否愿意长期付费、ARR年度经常性收入能否持续走高。一旦ARR增长陷入停滞，这套重资产扩张的商业逻辑就会被动摇。这种“外部资本出钱购置算力资产，AI企业按期支付租金”的模式，让AI基建越来越偏向金融化运作。市场上不少投资者担忧，真正愿意为AI产品付费的终端买单人还没有大规模出现，但是算力资本扩张的舞台已经搭建到很高的位置。
NVIDIACMP170HX矿卡价格近期因安全协处理器漏洞被利用而暴涨。研究
NVIDIACMP170HX矿卡价格近期因安全协处理器漏洞被利用而暴涨。研究人员通过软件绕过官方硬件限制，解锁了高达64/80GB的HBM2e显存及完整算力，使这张废弃矿卡摇身一变成为低成本本地大模型推理利器，导致其二手价格从百元美金飙升至千元以上。CMP170HX采用与企业级旗舰A100相同的GA100核心与HBM2e显存封装。NVIDIA官方此前通过一次性可编程（OTP）熔丝与固件，将其显存人为封锁在8GB/10GB，并压制了核心算力与PCIe频宽。安全研究团队利用GPU内部Falcon安全协处理器的栈溢出及DMA传输漏洞，成功取得特权并重写了寄存器，实现免开盖、免焊接的软解。不过由于该卡多为A100的下脚料芯片，不同显卡颗粒（如三星10GB版与海力士8GB版）解锁后的实际可用容量和稳定性存在“抽奖”性质，部分高容量解锁容易出现不稳定。
