长上下文工作流需调高llama.cpp缓存
提高-cram可避免超长多轮对话重复处理上下文,以占用更多内存换取显著提速。
推荐理由:默认8192MB缓存可能无法容纳代理式长任务的完整上下文,导致反复预填充;实测262K上下文配置20480MB有效,代价仅是增加内存而非显存占用。
提高-cram可避免超长多轮对话重复处理上下文,以占用更多内存换取显著提速。
推荐理由:默认8192MB缓存可能无法容纳代理式长任务的完整上下文,导致反复预填充;实测262K上下文配置20480MB有效,代价仅是增加内存而非显存占用。