用户询问不同模型尺寸和量化位宽在长任务中的选择依据与基准来源。
推荐理由：问题触及本地LLM部署的真实取舍：更大低比特模型未必胜过较小高比特模型，长上下文还受KV缓存、困惑度退化和任务类型共同影响。
阅读原文