2 月 6 日消息,美团今日(2 月 6 日)发布 LongCat-Flash-Lite 模型,这是一款拥有 685 亿参数,每次推理仅激活 29 亿 ~45 亿参数的轻量化 MoE 模型。
通过将超过 300 亿参数用于嵌入层,LongCat-Flash-Lite 宣称不仅超越了参数量等效的 MoE 基线模型,还在与同规模现有模型的对比中展现出“卓越的竞争力”,尤其在智能体与代码领域表现突出,并依托 YARN 技术可支持最长 256 K 上下文,能高效处理长文档、大规模代码分析等场景。
同时,该模型基于嵌入扩展的应用与系统级优化,让模型推理效率大幅提升,在输入 4K,输出 1k 的典型负载下,LongCat API 可提供 500-700 token/s 的生成速度。
美团宣布向开发者开放 LongCat-Flash-Lite 版本 API 接口,可登录 LongCat API 开放平台申请,每日免费额度 5000 万 tokens。
附 LongCat-Flash-Lite 开源地址如下:
https://github.com/meituan-longcat/SGLang-FluentLLM
文章来源:
哈哈库
版权声明:本文内容由互联网用户自发贡献,该文观点仅代表作者本人。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如发现本站有涉嫌抄袭侵权/违法违规的内容, 请发送邮件至23467321@qq.com举报,一经查实,本站将立刻删除;如已特别标注为本站原创文章的,转载时请以链接形式注明文章出处,谢谢!