开发者发布Rust/CUDA三值量化引擎,面向消费级GPU推理与训练。
推荐理由:1.58bit三值量化若能稳定落地,可显著降低本地LLM显存门槛;但作者也承认实际VRAM收益暂未达理论10倍,当前更像早期工程验证。
阅读原文