AI@NEWS

vLLM原生支持Cloud TPU

Google Cloud 将TPU支持集成进vLLM,用于长上下文多模态嵌入推理。

推荐理由:亮点是把15K+上下文嵌入推理搬上TPU并接入vLLM/GKE弹性服务;张量对齐、XLA预热和分块prefill降低了TPU serving门槛。

阅读原文