作者用二手双RTX 3090、裸机笔记本主板和汽车散热器搭建推理设备。
推荐理由:双路二手RTX 3090配合NVLink和汽车散热器构成推理节点,说明旧旗舰卡仍能支撑本地大模型,但高功耗、散热和维护成本是实际代价。
阅读原文