2026 年 11 月 20 日,腾讯混元 Hy 团队在 Hugging Face 开源 Hy4、Hy4-FP8 以及预训练 Hy4-base 权重。Hy4 是新一代混合专家(MoE)旗舰模型,语言骨干总参数 770B,每 token 激活 49B 文本参数与 1.23B 视觉参数,支持文本、图像和视频理解,上下文长度为 1,048,576 tokens。
模型采用 78 层语言骨干,其中首层为 dense FFN、其余 77 层为 MoE;每个 MoE 层包含 256 个 routed experts 和 1 个 shared expert,每个 token 激活 top-8 routed experts。注意力使用 Gated DeepSeek Sparse Attention(Gated DSA)与 IndexCache,残差路径使用 iHC(identity Hyper-Connections);视觉侧配 1.23B 参数 ViT,另有 3.3B 参数的 DFly2 投机解码 drafter。
仓库同时提供 instruct、FP8 和 base 权重,覆盖文本、图像与视频输入以及 computer use、前端与游戏开发、金融与办公流程、科学研究和长周期个人助理等场景。ModelScope、GitCode 和第三方 GGUF 入口也已给出,权重采用腾讯 Hy 许可(tencent-hy-license)。
Hy4 是开放权重发布,不是订阅额度重置;是否影响腾讯相关产品额度,需要另看官方公告。