AI@NEWS

Embedder接口与缓存实现

文章从源码角度分析Embedder接口和缓存层,指出实现中缓存key膨胀三倍的问题。

推荐理由:接口只返回向量,把token、耗时和模型信息放入callback,暴露出观测与缓存耦合问题;缓存key膨胀三倍会放大存储和命中率压力。

阅读原文