Rust极简LLM推理引擎
tiny-llm用纯Rust实现MiniCPM5-1B CPU推理,并可视化Transformer过程。
推荐理由:项目价值在教学透明度:单文件核心、无KV cache和TUI可视化牺牲性能换可读性,适合理解GQA、RoPE、SwiGLU等推理链路。
tiny-llm用纯Rust实现MiniCPM5-1B CPU推理,并可视化Transformer过程。
推荐理由:项目价值在教学透明度:单文件核心、无KV cache和TUI可视化牺牲性能换可读性,适合理解GQA、RoPE、SwiGLU等推理链路。