Jalapeño测试称可在同一架构下同时提升吞吐、降低延迟并改善能效。
推荐理由:定制芯片试图打破推理系统中吞吐、延迟和能效的传统权衡,若规模化数据成立,将直接降低模型服务成本;目前没有基准、功耗与量产信息可供验证。
阅读原文