AI@NEWS

双RTX 3090自制大模型推理主机

作者用二手双RTX 3090、裸机笔记本主板和汽车散热器搭建推理设备。

推荐理由:双路二手RTX 3090配合NVLink和汽车散热器构成推理节点,说明旧旗舰卡仍能支撑本地大模型,但高功耗、散热和维护成本是实际代价。

阅读原文