6月9日传来消息，近期小红书推出了首个大型语言模型，命名为dots.llm1。
dots.llm1是一款规模适中的MoE（大规模语言模型）文本型大模型，该模型由小红书旗下的hi lab（人文智能实验室）团队所开发，其整体参数总量达到1420亿，其中激活参数为140亿。
在具体应用中，当14B参数被激活时，dots.llm.inst模型在处理中英文通用场景、数学问题、代码编写以及对齐任务等方面展现出了出色的能力，其表现相较于Qwen2.5-32B-和Qwen2.5-72B-模型更具竞争优势。与此同时，该模型在中英文、数学和对齐任务上的表现与Qwen3-32B模型相仿。
图源：小红书
此外，dots.llm1的一大亮点在于它采用了高达11.2万亿个token的高质量非合成训练数据，这一规模在当前的开源大型语言模型中实属罕见。
自今年起，小红书在人工智能及大型模型领域频繁发力。开年之际，小红书将内部负责大模型技术及产品研发的团队更名为hi lab，同时开启了“人文训练师”的招募计划，广邀具备丰富人文知识背景的研究人员加入AI训练工作，旨在将人类的智慧与价值观更全面地融入AI系统，以期使AI成为人类有益的助手。
5月27日，小红书hi lab携手复旦大学哲学学院共建“AI人文人才训练营”，致力于开展AI技术后阶段的人文课题合作研究，旨在培育具备“AI+人文”双重能力的复合型专业人才。在AI模型训练过程中，一般包括预训练和后训练两个主要阶段。人文素养的培养构成了后续训练环节的核心内容，对于提升AI在人性化交流、价值观念匹配等方面的能力至关重要。
图源：小红书
评论0