智能体长上下文让64GB内存重获价值
实测M4 Max以约50GB内存运行27B量化模型,并支撑10万至20万词元的编程会话。
推荐理由:关键变化不是模型参数量,而是智能体持续累积的KV缓存:16GB量化权重配合超长上下文可吃到约50GB,使64GB成为本地编程智能体的实用档位。
实测M4 Max以约50GB内存运行27B量化模型,并支撑10万至20万词元的编程会话。
推荐理由:关键变化不是模型参数量,而是智能体持续累积的KV缓存:16GB量化权重配合超长上下文可吃到约50GB,使64GB成为本地编程智能体的实用档位。