AI 【新芒xAI】小红书开源首个大模型,预训练未使用合成数据

【新芒xAI】小红书开源首个大模型,预训练未使用合成数据

新芒xAI 6月10日消息 小红书开源了首个大模型dots.llm1,小红书方面表示,dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。

此外,dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据,最终性能与阿里Qwen3-32b相比,在中英文、数学、对齐任务上表现接近。

小红书此次开源其首个自研大模型dots.llm1,是其技术实力的一次重要展示,也是其在AI浪潮中寻求更深层次技术布局的关键一步。

采用1420亿参数的混合专家(MoE)架构,却仅需激活一小部分参数进行推理,这一设计精妙地平衡了模型性能与成本效益,展现了其在模型工程上的深厚积累。

更值得肯定的是,其使用高达11.2万亿的非合成数据进行训练,并取得了与业界领先模型(如Qwen2-32b)相近的性能,这不仅证明了其模型的有效性,也为其后续在社区内容理解、电商推荐等核心业务上的深度应用奠定了坚实的技术基础。

然而,开源强大的基础模型仅仅是第一步,后续的挑战依然严峻。首先,MoE架构虽然高效,但训练和维护的复杂性也更高,如何保证其在多样化应用中的稳定性和可靠性是一大考验。

其次,尽管评测性能优异,但要将这种通用能力有效转化为能驱动小红书独特社区生态和商业场景的“杀手级”应用,需要克服从模型到产品的“最后一公里”难题。

最后,在当前国内外大模型开源“神仙打架”的激烈竞争下,小red书能否围绕dots.llm1建立起活跃的开发者社区,形成独特的生态优势,避免其成为一个“发布即巅峰”的“礼炮式”开源项目,将是其面临的长期挑战。

文章来源信息声明: 本文信息出自权威媒体、企业官方及网络,并经新芒X编辑,转载请注明源出处、作者和链接。 图片部分来源于网络,在此表示感谢,如有侵权请联系我方处理。 文章发布日期后方火形图标后的数字,为文章热度,谨代表受欢迎程度。 新芒X平台仅对用户提供信息及决策参考,本文不构成投资建议。

作者: 新芒Group

新芒出品,专注专业。兼具内容品质和传播影响力
关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部