AI@NEWS

边缘设备跨厂商ML推理

作者用ncnn Vulkan在多GPU环境实现本地模型推理加速。

推荐理由:用ncnn Vulkan替代CUDA把ArcFace从CPU 30ms降到3ms、SCRFD从25ms降到2.5ms,说明边缘AI产品可用通用GPU后端换取十倍级延迟收益。

阅读原文