AirLLM通过流式加载让3.72GB显存设备运行2.8T参数模型。
推荐理由:3.72GB显存跑2.8T模型的实质是以层和专家流式加载换显存,降低实验门槛但牺牲延迟与存储,适合探索而非生产推理。
阅读原文