单张RTX 3090运行DeepSeek V4.1
用户称Q2量化版在单张3090上达到41 token/s,并可容纳百万上下文。
推荐理由:亮点是借助192GB系统内存让完整Q2量化模型在单卡输出41 token/s,且次词一致率超90%;但结果来自个人实测,仍需独立复现。
用户称Q2量化版在单张3090上达到41 token/s,并可容纳百万上下文。
推荐理由:亮点是借助192GB系统内存让完整Q2量化模型在单卡输出41 token/s,且次词一致率超90%;但结果来自个人实测,仍需独立复现。