AI@NEWS

5KB汇编引擎在CPU运行Gemma 2B

纯x86-64汇编推理引擎仅5.2KB,在老款四核i5上以FP16实现约4.6词元/秒。

推荐理由:5.2KB机器码以AVX2、F16C和四线程矩阵乘法跑通20亿参数模型,表明推理运行时可被压缩至极小规模,性能瓶颈主要转向内存带宽而非框架开销。

阅读原文