AI@NEWS

Hugging Face重构高性能分词库

tokenizers v1保持ID与API兼容,编码快3至30倍,解码快5.4至8.8倍。

推荐理由:在不改变token ID和API的前提下,借SIMD位流替代固定模式正则,显著压缩分词延迟;这能直接降低推理前后处理瓶颈与迁移成本。

阅读原文