3 月 20 日消息,Mistral AI 当地时间本月 16 日宣布推出 Mistral Small 4 模型,这是这家欧洲领先 AI 实验室首款结合旗舰推理模型、多模态模型、编程模型优势的综合性 LLM,用户无需在多种各有优势的模型中进行选择,实现了“我全都要”。
Mistral Small 4 采用 MoE 架构,总参数 119B、激活参数 6B,拥有 256k 的上下文窗口,支持快速和深度推理模式,以 Apache 2.0 许可开源。
Mistral AI 表示,新模型在延迟优化模式下端到端完成时间缩短了 40%,相较上代 Small 3 在吞吐优化模式下每秒请求数量多 3 倍。与外部模型比较,其在三个基准测试中均不劣于 OpenAI 的 GPT-OSS 120B。
注意到,Mistral Small 4 模型的最低部署配置为 4× HGX H100 / 2× HGX H200 / 1× DGX B200,推荐配置为 4× HGX H100 / 4× HGX H200 / 2× DGX B200。
文章来源:
哈哈库
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至23467321@qq.com举报,一经查实,本站将立刻删除;如已特别标注为本站原创文章的,转载时请以链接形式注明文章出处,谢谢!