从豆包到阶跃星辰的Step-GUI：手机正在成为 AI 的新入口
最近，因为豆包手机助手的发布，关于 GUI Agent（图形用户界面智能体） 的讨论很热烈。
GUI Agent 不是新概念，它要做的事说白了就是：让 AI 直接「看屏幕、点按钮、拖进度条」，像人一样操作电脑、手机，甚至车机界面。
11 月 29 日，阶跃星辰开源了 4B 的 GUI Agent：Step-GUI Edge。
12 月 1 日，字节跳动的豆包联合中兴发布了 GUI Agent 手机助手工程样机，3 万台一售而空。
12 月 9 日，智谱直接开源了 AutoGLM：AutoGLM-Phone-9B。
而就在今天， 我们关注到阶跃星辰再度悄悄上线了 2 个新东西：
【1】 GUI API ：Step-GUI
【2】专门面向 GUI Agent 的 MCP（模型上下文协议）。
首先，各大厂商纷纷发布 GUI Agent 的一大出发点就是： GUI Agent 是基于视觉理解，就可以适配大量 App，无需厂商额外改造，接入成本很低，所以被视为目前终端设备打破 APP 之间操作壁垒，跨应用协同的最现实路径之一。
不过在 GUI Agent 的实际应用中，大家遇到了一个很现实的问题：如果动用参数量非常大的模型，那么这个解决方案太重了，贵且慢，另外如果涉及到隐私场景，用户则希望数据能保留在本地端侧。
从这个出发点看来，解决方案要符合：性价比，要在手机、车机、电脑上能跑得起来。同时考虑到实用性，它要能在足够丰富的场景下执行复杂和多元的任务。
所以大家有了个初步共识：端云协同。
在端侧（Edge）： 小模型负责协调。也就是具体的点击、滑动、隐私保护。
因为很少有人愿意把自己微信聊天的截图，每时每刻都传到云端服务器去，所以识别屏幕、操作 App 最好在手机本地完成。
在云侧（Cloud）： 更高维的大模型负责思考，处理复杂的逻辑推理、任务拆解。
阶跃星辰近期发布的 GUI Agent 系列，是符合这个逻辑的：
首先， Step-GUI 系列包含 2 个模型：Step-GUI （云侧模型）和 Step-GUI Edge（端侧模型）。
在端侧，Step-GUI Edge 做到了 4B（40 亿参数） ，这意味着它能在手机上跑得更轻快。以手机设备为例，⾏业普遍认为，7B 以下模型才能顺利部署并执行任务。就测试结果来看，Step-GUI Edge 是首款能够真正部署到手机上的 GUI 模型。而云侧的 Step-GUI 则会有更长的上下文和语义理解能力、以及更强的泛化能力，适合执行更多复杂任务场景。
而这个 Step-GUI Edge（原名：Gelab-Zero） 在 11 月 29 日就被开源在了 GitHub 上，项目在 1 周内，就在 GitHub 上快速突破了 1K Stars。
GitHub 链接：https://github.com/stepfun-ai/gelab-zero
开发者们之所以关注这个项目，是因为它给到了一条技术路径：
对于屏幕语义理解和元素定位这种任务，其实并不一定需要千亿参数的模型。
一个经过 GUI 数据微调的小参数模型，是能够很有效率地识别屏幕上的图标、按钮和文字，并转化为坐标和操作指令。
所以，在验证了技术可行性和技术社区的「欢迎度」之后，阶跃星辰继续进行了完善，将这回的 Step-GUI 系列和 GUI-MCP 协议都打包发了出来。
十字路口团队从 0 到 1 完整部署并测评了云端模型 Step-GUI API 和 GUI-MCP 协议。
接下来，分享我们的实测体验和观察。
「Step-GUI + MCP」协议实测报告
首先，先说下我的设备：
电脑：MacBook
手机：华为老款手机
由于 GUI Agent 用在手机上，所以这里我用来测试的连接方式就是：ADB。
阶跃星辰官网上的指导已经非常详细且「小白」了，这里我就不多做叙述，大家可以按照下面这个网址一步一步来：
https://platform.stepfun.com/docs/llm/model-lab
不过首先我承认，由于每个人的电脑配置环境都不一样，所以你还是可能会碰到很多的问题。比如说，我在安装 Homebrew 的时候就会遇到网速过于慢的情况，根本连不到源。
我有个小窍门，就是用 Trae 这类的 AI IDE，告诉它：「帮我下载 Homebrew」，因为网络问题，它直接选择了国内的镜像源下载，非常方便：
（ps.接下来测试案例的所有完整视频，都没有进行加速）
1）礼貌地「反」借钱
说实话，我刚一想到 GUI Agent 的用法时，第一个反应就是它如何帮助我礼貌地解决一个「虚构的场景」：
在微信上，可能会时不时有人来「借钱」，但我有时候并不想打开那个聊天框，也不是很愿意发送「礼貌的拒绝消息」。
所以，这个时候我就想用 GUI Agent 来帮我完成这件事情。
提示词如下：
检索我微信里主页面关于‘借钱’的聊天记录，如果有，帮我自动回复‘🙏最近我也手头挺紧张的，不好意思啦～’，只检索最近聊天的10个人的最新聊天记录。
我们先来看看完整结果的录屏，从最开始让它执行任务，到完成整个任务它花费了 46 秒，成果还可以：
最后的结果如下，它很顺畅地向某位联系人发送了「礼貌反借钱语录」，然后就退了出去：
下面我们来仔细看一看细节。
在终端上，Step-GUI 的所有任务过程都会非常清楚地显示：
而且，它在找到这位需要借钱的联系人的时候，还会判断最新的聊天时间是下午 5:32，在所有结果中是最新的。
所以说，它应该去点击这个结果，而不只是根据这个关键词来判断。
Step-GUI 启动后，不仅是简单地匹配关键词，它表现出了一种「判断力」。
2）给「Koji」小红书笔记点赞+评论
当 Step-GUI 完成上面这个任务时，我就在思考 GUI Agent 在面对「搜索-进入-评论-返回-再评论」这种长链条操作时，会不会因为页面层级太深而迷路。
所以，我就做了下面这个测试：让它打开 Koji 的小红书，然后在文章下面的评论区点赞并评论。
提示词如下：
打开的小红书APP，搜索账号：Koji杨远骋，点个关注，并在前 2 篇笔记下的评论区评论：Koji，请在 2026 年继续加油！
完整结果如下，整个任务的时间你会发现明显延长了，但是完成得还是蛮流畅的：
这个任务执行了 2 次评论，2 次都成功了，我们来看看完成后的结果：
Step-GUI 展现了一定的稳定性和判断能力。
比如，在任务执行过程它遇到了下面这两次「权限判定」，都完成得很好，甚至帮我一键绑定了本机号码：
这是它这一步的思考链：
3）打开快手，帮我自动赚金币，选择提现方式到微信钱包
阶跃星辰这回还同步发布了 Step-GUI MCP 协议，并且模型是限免的。
这个 MCP 协议最大的亮点之一，就是能让你在云端调用各家厂商的模型，比如：Claude、GPT、Gemini 之类的，这个时候你就需要把 Step-GUI 当作 MCP Server 来用了。
这里最方便的就是先去安装一个 「Fast Mcp」（教程官网链接都有）：
然后，我们再去下一个 Chatbox，这样就能很方便地灵活接入各个模型：
接着在一个对话框里，需要给 AI 设置一个系统提示词，告诉它能用 GUI Agent 就用，智能不足了就自己拿接的 LLM 拆解一下：
接着就可以把 Step-GUI 做成 MCP Server 了：
接下来，我们试试这个场景：很多朋友的父母其实都在用快手极速版去赚金币，而我觉得这对他们的视力也很不好，所以在想能不能用 Step-GUI 去完成这个任务。
快手极速版 App 的任务中心是典型的设计得非常花哨，充满了弹窗、倒计时和动态干扰的元素。这是对 GUI Agent 视觉理解能力和状态感知能力的很大的考验。
比如说，我想让 Step-GUI 去点击快手极速版 APP 主页面画面左上角的红包标识，这是一个任务中心。进入到任务中心之后，再向下滑动，有一个「选词搜索赚金币」的任务。点击这个任务之后，它下面会有推荐的一系列热词的入口。然后，再挨个去点这些入口，才能去看广告赚金币。
具体的 3 个页面如下，你可以感受下「眼花缭乱」的程度，各个页面之间的「交互链接」也确实蛮复杂的：
你能看得出来，这个任务比较复杂，提示词如下：
打开快手极速版，画面左上方有个‘红包’功能，点进去就是任务中心，你需要向下滑动，里面有个‘搜索看广告’，点击推荐热词下面的第一个选项的‘去搜索’，帮我看完广告，我要赚金币。
先来看看完整结果（请调低音量～），Step-GUI 确实完成了任务，然后整个过程还是很顺畅的 ：
下面这两张图是前后对比，它确实帮我在快手极速版 APP 上赚到了 269 金币：
接下来，我们照例看看细节。
我注意到一个非常有趣的点，就是当它在打开快手极速版 APP 的时候，它清楚地意识到「需要等待页面加载完成」：
在打开快手极速版 APP 的任务中心并完成广告任务之后，上面有一行特别小的文字：已成功领取 269 金币，Step-GUI 的后台会立刻识别到这一点，认为：广告任务已经完成：
在另一次看直播广告环节中，我一度以为它卡住了，因为屏幕停在一个直播广告上不动了，我甚至想直接伸手关掉。但看后台日志才发现，它其实是在「等待直播中的一个广告的结束」。
它识别出了当前的业务状态是「广告播放中」，必须等待倒计时结束或进度条走完。直到广告结束，它才准确点击了关闭按钮，去进行下一个任务。
那一步甚至都把我晃过去了：
在完成这个任务之后，过了段时间，我才想起来，完全可以让 Step-GUI 一口将「赚金币 – 提现 -选择提现方式微信 – 复制粘贴提现链接到微信」一个流程都跑完。
我录了个视频，非常流畅：
就在这个流程走到最后一步的同时，手机就已经收到了这 0.5 元的收款入账：
这次我们用的是 Step-GUI + MCP 的组合，目的其实很直白：就是让 AI 真的像个人一样操作手机，把快手极速版里那套「赚金币 → 提现 → 选微信钱包」 的流程完整跑一遍。
整个过程拆开看，大概就是这么一条线：
打开 App → 等页面加载完 → 找到左上角那个「红包」 → 进任务中心 → 往下滑找任务 → 点进广告流程 → 一个一个把广告看完 → 成功完成任务 → 实际到账金币 → 接着顺着流程直接提现 → 选微信提现 → 钱到账。
从「点红包」到「钱进微信」，这一小段链路已经被完整自动化了。
而且你现在能明显感觉到一件事：Step-GUI 负责动手，高维模型负责动脑，这个分工真的很关键。
有了这个 MCP，GUI Agent 就能从独立工具转变为连接 LLM 与手机应用的桥梁。
而且非常惊喜的是，按照官方指引，我 10 分钟就完成了 GUI-MCP 的部署。也就是说，最快 10 分钟就能拥有豆包手机的同款能力。
看完这些案例，我想聊聊一个很多人最近在争论的话题。
常有人说：「让 AI 去模拟点击屏幕会不会太笨了？直接调 API 或者用 MCP 和 A2A 协议不是更高效吗？最后的效果不仅高效，而且精准。」
但我最近看到一个类比：
地铁确实比汽车高效多了，运载量大、不堵车，那为什么人类还需要汽车？
因为地铁只能去那些铺了铁轨的地方。
API 也是一样，它依赖于 App 开发者给你铺好的「铁轨」。但在现实的世界里，还有海量的软件、网页、甚至是游戏没有 API，有无数临时的弹窗、非标的操作。
GUI Agent 就是那辆「越野车」。
它不需要等待开发者铺设铁轨，只要人眼能看到的界面，它就能开过去。它或许不是最快的，但它一定是覆盖范围最广、最能适应这个混乱而真实的数字世界的。
这也正是阶跃这次开源 Step-GUI 的意义。目前这个 4B 的模型已经开源在 GitHub 上，API 也已上线，有兴趣的开发者去试一试。
文章来自于“十字路口Crossing”，作者 “镜山”。