低价拼装768GB显存推理主机
作者用12张64GB CMP 170HX搭建768GB显存设备,并通过光纤连接另一台主机扩容。
推荐理由:方案以十二张退役计算卡换取七百六十八GB聚合显存,成本低于单张专业卡,适合容量优先的本地大模型推理;但跨卡带宽、功耗及五词元每秒速度限制明显。
作者用12张64GB CMP 170HX搭建768GB显存设备,并通过光纤连接另一台主机扩容。
推荐理由:方案以十二张退役计算卡换取七百六十八GB聚合显存,成本低于单张专业卡,适合容量优先的本地大模型推理;但跨卡带宽、功耗及五词元每秒速度限制明显。