AI@NEWS

腾讯开源万亿级MoE模型Hy4

Hy4 Preview采用7700亿参数、490亿激活和100万上下文,使用Apache 2.0许可。

推荐理由:7700亿总参数仅激活490亿,并开放100万上下文与Apache 2.0权重;腾讯由闭源能力竞争进一步转向可商用的大型稀疏模型生态。

阅读原文