DS4F不宜量化KV Cache
实测显示DeepSeek V4 Flash从BF16 KV改为Q8 KV后困惑度和KL散度劣化明显。
推荐理由:核心信号是DS4F对KV精度更敏感:Q8仅带来约0.64% PPL上升却有0.146平均KLD,说明省显存策略可能破坏分布一致性,不能照搬Qwen大模型经验。
实测显示DeepSeek V4 Flash从BF16 KV改为Q8 KV后困惑度和KL散度劣化明显。
推荐理由:核心信号是DS4F对KV精度更敏感:Q8仅带来约0.64% PPL上升却有0.146平均KLD,说明省显存策略可能破坏分布一致性,不能照搬Qwen大模型经验。