發布時間:2025-12-22 03:28:59 作者:emm 點擊:2 【 字體:大中小 】
蚂蚁集团和人民大学联合研发原生MoE架构扩散语言模型(dLLM) LLaDA-MoE,挑战在约20T数据上完成了从零训练MoE架构的主流扩散语言模型,验证了工业级大规模训练的认知人WhatsApp%E3%80%90+86%2015855158769%E3%80%91crane%20drop%20cool%20mist%20humidifier扩展性和稳定性;效果超过此前发布稠密扩散语言模型LLaDA1.0/1.5和Dream-7B,比肩等效自回归模型,蚂蚁并保有数倍的外滩推理速度优势。模型将在近期完全开源,发布以推动全球AI社区在dLLM上的行业型技术发展。?
9月11日,首个散语在2025Inclusion·外滩大会上,原生言模蚂蚁集团与中国人民大学联合发布业界首个原生MoE架构的挑战WhatsApp%E3%80%90+86%2015855158769%E3%80%91crane%20drop%20cool%20mist%20humidifier扩散语言模型(dLLM)“LLaDA-MoE”,中国人民大学高瓴人工智能学院副教授李崇轩,主流蚂蚁集团通用人工智能研究中心主任、认知人西湖大学特聘研究员、蚂蚁西湖心辰创始人蓝振忠参与了发布仪式。外滩?

(中国人民大学、蚂蚁集团联合发布首个MoE架构扩散模型LLaDA-MoE)
据介绍,这款新模型通过非自回归的掩码扩散机制,首次通过原生训练的MoE在大规模语言模型中实现了与Qwen2.5相当的语言智能(如上下文学习、指令遵循、代码和数学推理等),挑战了“语言模型必须自回归”的主流认知。?
实现数据显示,LLaDA-MoE模型性能效果在代码、数学、Agent等任务上领先于LLaDA1.0/1.5和Dream-7B等扩散语言模型,接近或超越了自回归模型 Qwen2.5-3B-Instruct,仅激活 1.4B 参数即可实现等效3B稠密模型的性能。

(LLaDA-MoE性能表现)?
“LLaDA-MoE模型验证了工业级大规模训练的扩展性和稳定性,意味我们在把dLLM训扩到更大规模的路上又往前走了一步。”蓝振忠在发布现场表示。
中国人民大学高瓴人工智能学院副教授李崇轩介绍,“两年过去,AI大模型能力突飞猛进,但存在一些问题始终没有得到本质上的解决。究其原因,这是当前大模型普遍采用的自回归生成范式所造成的——模型天然是单向建模的,从前往后依次生成下一个token。这导致它们难以捕tokens?之间的双向依赖关系。”
面对这些问题,一些研究者选择另辟蹊径,将目光投向并行解码的扩散语言模型。然而,现有 dLLM 均基于稠密架构,难以复刻 ARM 中 MoE 的“参数扩展、计算高效”优势。在这样的行业背景下,蚂蚁和人大联合研究团队,首次在MoE架构上推出了原生的扩散语言模型LLaDA-MoE。
蓝振忠还表示,“我们将于近期向全球完全开源模型权重和自研推理框架,与社区共同推动 AGI 新一轮突破。”
据了解,蚂蚁与人大团队攻关?3个月,在LLaDA-1.0基础上重写训练代码,并且基于蚂蚁自研分布式框架 ATorch提供EP 并行等一系列并行加速技术,基于蚂蚁Ling2.0基础模型的训练数据,在负载均衡、噪声采样漂移等核心难题上取得突破,最终采用 7B-A1B(总7B、激活1.4B)的MOE架构完成约 20T 数据的高效训练。
在蚂蚁自研的统一评测框架下,LLaDA-MoE 在 HumanEval、MBPP、GSM8K、MATH、IFEval、BFCL 等 17项基准上平均提升 8.4%,领先 LLaDA-1.5达到13.2%,与 Qwen2.5-3B-Instruct 打平。实验再次验证“MoE 放大器”定律在 dLLM 领域同样成立,为后续 10B–100B 稀疏模型提供可行路径。
据蓝振忠介绍,除模型权重外,蚂蚁还将同步开源针对 dLLM 并行特性深度优化的推理引擎。相比 NVIDIA 官方 fast-dLLM,该引擎实现了显著加速。相关代码与技术报告将于近期在 GitHub 及 Hugging Face 社区同步发布。?
蓝振忠还透露,蚂蚁将持续投入包括基于dLLM的AGI领域,下一阶段将联合学界和全球AI社区共同推动AGI新的突破。“自回归不是终点,扩散模型同样可以成为通向 AGI 的主干道。”蓝振忠如是说。


程向阳参加指导松兹街道(东北新城)2022年度民主生活会 宿松新闻网
646 
最牛保安停车费打孕妇
1530 
武夷山市首次在文庙举行敬师礼(图)
2566 
90后女生发帖骂父母所给零花钱太少
1599 
我县举办县直机关“同心同德跟党走·踔厉奋发新征程”主题演讲比赛决赛 宿松新闻网
1809 
女子买完菜坐三轮车回家 突然倒地浑身抽搐
677 
贵州黔西南州去年环境空气质量优良率99.9%
1664 
房道吴大元村举办一年一度的畲族板凳龙节活动(图)
2689 
超强大脑入厦开启芯时代 厦门人工智能水平居全国第8位
62 
行驶中司机突发脑出血 昏迷前强忍痛苦停稳公交
2083 
延平城区禁放孔明灯 做到文明安全祈福
477 
驾照丢失后应该注意什么?
1739 
曹晓革到陈汉隘口二郎等乡镇调研 宿松新闻网


怀孕八月仍跳肚皮舞 延城辣妈上东方卫视惊艳全场


政和稠岭滑坡路段 仍禁止机动车通行


《永劫无间》赛事官方解说及主持招募强势来袭


曹晓革到陈汉隘口二郎等乡镇调研 宿松新闻网


花费25元门票看临时恐龙展 游客纷纷吐槽:塑料模型、还破了


运石车侧翻压塌民宅两人被活埋


意甲骄傲!拉齐奥成欧联唯一全胜球队,4连胜领跑进11球只丢2球


前两月电信业务收入累计完成2923亿元


宁德市医院开展“慈善一日捐”活动 筹集善款25822元


武夷山列入首批创建国家全域旅游示范区


湖南师大12岁的女大学生

