单台128GB迷你主机运行两个300B级MoE
Kyojin借助EXL3量化与ROCm，让两个300B级MoE模型分别装入单台128GB Strix Halo主机。
推荐理由：约百GB权重即可在单台消费级迷你主机运行300B级MoE，解码最高44词元每秒且与FP8保持较高一致率，显著下探大模型本地部署门槛。
Kyojin借助EXL3量化与ROCm，让两个300B级MoE模型分别装入单台128GB Strix Halo主机。
推荐理由：约百GB权重即可在单台消费级迷你主机运行300B级MoE，解码最高44词元每秒且与FP8保持较高一致率，显著下探大模型本地部署门槛。