12 月 3 日消息,法国人工智能初创企业 Mistral AI 当地时间 2 日宣布推出其新一代 Mistral 3 系列模型,包括其采用稀疏架构的首款混合专家模型 Mistral Large 和三款小型密集模型。
Mistral Large 总参数量为 675B,活跃参数规模为 41B;Ministral 3“三兄弟”的参数规模分别为 14B、8B、3B。这些模型及衍生版本均以 Apache 2.0 许可证开源。
Mistral AI 表示,使用 3000 块英伟达 H200 GPU 从头训练的 Mistral Large 3 是全球顶尖的开放权重模型之一。
在经过后训练后,该模型在通用提示方面与市场上最佳的指令微调开放权重模型达到了同等水平,同时在多语言对话方面展示了图像理解和行业顶尖性能。Mistral Large 3 在 LMArena 排行榜的 OSS 非推理模型类别中位列第二,OSS 总榜第六。
对于参数较小的 Ministral 3,Mistral AI 称其实现了所有 OSS 模型中最佳的性价比,这些模型的指令变体在性能上与同类模型相当或更优,同时生成的 token 数量通常降低了一个数量级。
文章来源:
IT之家
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至23467321@qq.com举报,一经查实,本站将立刻删除;如已特别标注为本站原创文章的,转载时请以链接形式注明文章出处,谢谢!