智谱发布 GLM-5V-Turbo 多模态 Coding 基座模型,为龙虾安上眼睛

哈哈库 新闻资讯 1

4 月 2 日消息,今日,智谱发布面向视觉编程打造的多模态 Coding 基座模型 GLM-5V-Turbo。其具备以下特点:原生多模态 Coding 基座,兼顾视觉与编程能力,并深度适配 ClaudeCode 与龙虾场景。

据介绍,GLM-5V-Turbo 从预训练阶段深度融合视觉与文本能力,让编程不再局限于纯文本输入。模型能看懂设计稿、截图、网页界面,并据此生成完整可运行的代码,真正做到看得懂画面、写得出代码。

附核心要点如下:

  • 原生多模态 Coding 基座:原生理解图片、视频、设计稿、文档版面等多模态输入,并支持画框、截图、读网页等多模态工具调用,上下文窗口扩展至 200k,将 Agent 的感知-行动链路从纯文本延伸到视觉交互。

  • 兼顾视觉与编程能力:在多模态 Coding、Tool Use、GUI Agent 等核心基准上取得领先表现。通过多任务协同 RL 等技术手段,确保纯文本场景下的编程、推理、工具调用等能力不退化。

  • 深度适配 Claude Code 与龙虾场景:与 Claude Code、OpenClaw/AutoClaw 等 Agent 深度协同,支持“看懂环境 → 规划动作 → 执行任务”的完整闭环,并提供全套官方 Skills,开箱即用。

在多模态 Coding、Agentic 任务以及纯文本 Coding 维度的评测基准上,GLM-5V-Turbo 均以更小尺寸取得了领先表现。

GLM-5V-Turbo 在设计稿还原、视觉代码生成、多模态检索与问答、视觉探查等基准上均取得领先表现;在衡量真实 GUI 环境操控能力的 AndroidWorld、WebVoyager 等基准上同样表现突出。在纯文本 Coding 能力方面,GLM-5V-Turbo 在 CC-Bench-V2 的 Backend、Frontend 和 Repo Exploration 三项核心基准测试中均保持稳定表现,表明视觉能力引入后,纯文本编程与推理能力保持了同等水准。

在 AutoClaw 等龙虾 Agent 中接入 GLM-5V-Turbo 后,龙虾具备了真正的视觉能力,能看懂屏幕上的信息。模型在衡量龙虾 Agent 任务执行质量的 PinchBench、ClawEval 和 ZClawBench 上取得优异成绩,验证了其在复杂任务执行场景中的综合能力。

典型场景展示:

图像即代码

  • 前端复刻:发送草图、设计稿、参考网站的截图或录屏,模型就能直接理解布局、配色、组件层级与交互逻辑,生成完整可运行的前端工程,准确还原版式、配色、动效等视觉细节。

  • GUI 自主探索复刻:结合 Claude Code 等框架,GLM-5V-Turbo 能凭借自身强大的 GUI Agent 能力自主探索目标网站,浏览页面结构、梳理各页面之间的跳转关系、采集视觉素材与交互细节,最后基于记录的探索结果直接生成代码复现整个站点,实现从“看图复刻”到“GUI 探索复刻”的能力跃升。

  • 交互式编辑:支持按需求增删页面模块、修改文案与样式、调整布局结构,并可补充按钮反馈、弹窗切换、表单联动等交互功能,实现可视化迭代编辑。

为龙虾安上眼睛

龙虾的任务边界被大幅拓宽,例如可以浏览网页和文档,生成图文并茂的报告、PPT,还可以查询并解读 K 线图等复杂图表。

AutoClaw 已上线“股票分析师”Skill,利用 GLM-5V-Turbo 的原生视觉能力,龙虾能直接看懂 K 线走势、估值区间图和券商研报图表,实现四路数据源 60 秒并行采集,输出图文交错的研报。立即在 AutoClaw 中切换至 GLM-5V-Turbo,试试提问“帮我分析今天 XXX 的股价,生成专业分析报告”。

抱歉,评论功能暂时关闭!