美团发布LongCat稀疏模型
LongCat-Flash-Lite-Sparse以约30亿激活参数和RAM查表支持24GB GPU上的256k上下文。
推荐理由:亮点是把30B n-gram查表卸到内存,用约3B激活参数换取24GB显存上的256k上下文,显示长上下文正转向显存外存储协同。
LongCat-Flash-Lite-Sparse以约30亿激活参数和RAM查表支持24GB GPU上的256k上下文。
推荐理由:亮点是把30B n-gram查表卸到内存,用约3B激活参数换取24GB显存上的256k上下文,显示长上下文正转向显存外存储协同。