AI@NEWS

淘宝开源0.3B端侧模型MNN-Pocket

模型面向手机原生推理,目标解码超200 token/s、峰值内存低于300MB,并在特定场景对标8B模型。

推荐理由:0.3B模型把端侧指标压到峰值内存300MB、解码超200 token/s,并以场景内对标8B为目标,显示软硬协同优化正让高频本地智能具备实用性。

阅读原文