AI@NEWS

3000美元自建128GB显存推理服务器

四张V620搭配二手EPYC,以约3000美元实现128GB显存和长上下文本地推理。

推荐理由:实测以四张V620换取低成本大显存,128K以上上下文解码约每秒60至70词元;代价是500至900瓦功耗,凸显二手硬件方案的容量优势与能效短板。

阅读原文