新芒xAI 6月10日消息 小红书开源了首个大模型dots.llm1,小红书方面表示,dots.llm1是一个1420亿参数的混合专家模型(MoE),在推理过程中仅激活140亿参数,能保持高性能的同时大幅度降低训练和推理成本。
此外,dots.llm1.ins在预训练阶段使用了11.2万亿的非合成数据,最终性能与阿里Qwen3-32b相比,在中英文、数学、对齐任务上表现接近。
新芒xAI评论
小红书此次开源其首个自研大模型dots.llm1,是其技术实力的一次重要展示,也是其在AI浪潮中寻求更深层次技术布局的关键一步。
采用1420亿参数的混合专家(MoE)架构,却仅需激活一小部分参数进行推理,这一设计精妙地平衡了模型性能与成本效益,展现了其在模型工程上的深厚积累。
更值得肯定的是,其使用高达11.2万亿的非合成数据进行训练,并取得了与业界领先模型(如Qwen2-32b)相近的性能,这不仅证明了其模型的有效性,也为其后续在社区内容理解、电商推荐等核心业务上的深度应用奠定了坚实的技术基础。
然而,开源强大的基础模型仅仅是第一步,后续的挑战依然严峻。首先,MoE架构虽然高效,但训练和维护的复杂性也更高,如何保证其在多样化应用中的稳定性和可靠性是一大考验。
其次,尽管评测性能优异,但要将这种通用能力有效转化为能驱动小红书独特社区生态和商业场景的“杀手级”应用,需要克服从模型到产品的“最后一公里”难题。
最后,在当前国内外大模型开源“神仙打架”的激烈竞争下,小red书能否围绕dots.llm1建立起活跃的开发者社区,形成独特的生态优势,避免其成为一个“发布即巅峰”的“礼炮式”开源项目,将是其面临的长期挑战。