Cursor 上线 Computer Use 功能，智能体可操控桌面应用完成点击与文字输入

Cursor 正式推出 Computer Use 能力，这项功能让内置 AI 智能体可以直接接管电脑桌面，像真人用户一样在各类桌面客户端里完成鼠标点击、文字输入、页面滚动、按键操作等一系列可视化操作，彻底补齐了 AI 智能体只能操作代码、终端与文件，无法操控带图形界面桌面软件的短板。这项能力落地之后，智能体不再局限于代码开发场景，能够自动操作 Office 办公软件、浏览器、设计工具、各类客户端程序，自动完成文档填写、网页操作、软件配置、客户端信息录入等全流程工作；该功能依托独立助手程序运行，搭配屏幕画面识别技术，先读取当前桌面界面，定位按钮与输入框坐标，再自动执行键鼠动作，全程不需要调用软件 API，任何带图形界面的桌面程序都能被智能体自主操控。下面从功能架构、前置权限、分步启用流程、支持平台、实操应用场景五个部分做完整说明。

一、整体技术架构

1. 核心运行组件 Cursor Computer Use 依靠独立的辅助小程序运行，不会依赖主 IDE 程序；macOS 系统会自动下载安装 Cursor Computer Use 助手应用，Linux 平台直接依托桌面会话运行，整个组件由命令行工具统一管理调度。
2. 动作执行逻辑 第一步：智能体调用截图能力捕获当前桌面画面；第二步：视觉模型识别界面内按钮、输入框、菜单，生成对应屏幕坐标；第三步：自动移动鼠标到目标位置执行单击、双击操作，激活输入框；第四步：自动完成文字键入、快捷键敲击、页面滑动等操作；第五步：再次截图核验操作结果，确认动作执行成功后再进入下一步任务。
3. 安全管控机制 所有桌面操控动作均为用户手动开启的可选权限，每一次会话都需要主动启用，不会自动获取桌面控制权；系统权限仅授予独立助手程序，不会把屏幕录制与辅助操控权限开放给主 IDE，同时全程保留操作日志，完整记录每一次点击与输入内容，方便事后审计核对。

二、系统前置权限配置（分平台清单）

（1）macOS 系统权限清单

表格

（2）Linux 系统权限清单

• 开启 X11 桌面会话访问权限，允许程序读取桌面画面；
• 授予键鼠模拟操作权限，保证程序可以调用系统键鼠接口；
• 关闭桌面弹窗拦截，避免操作时弹出权限弹窗打断自动流程。

三、分步启用操作流程

1. 准备工作 将 Cursor 客户端更新到最新正式版本，保证云端智能体与本地 worker 组件同步更新；确认本机网络可以正常连接 Cursor 官方下载服务器，自动获取 Computer Use 助手安装包。
2. 启动服务程序 打开终端，输入指令：agent worker --computer-use start；首次执行命令时，程序会自动从官方下载地址拉取助手安装包，自动完成安装部署，无需手动下载安装文件。
3. 开启桌面操控会话 在 Cursor 编辑器内打开智能体对话窗口，开启 Computer Use 开关；此时智能体就获得当前桌面的操控权限，可以接收指令去操作任意打开的桌面软件。
4. 下发自动化任务 直接用自然语言给智能体下达指令，例如：打开 Word 文档，在正文区域输入项目技术方案内容，保存文件；智能体会自主完成打开软件、点击输入框、打字、保存整套动作。
5. 结束会话释放权限 任务完成后，执行指令关闭 computer-use 服务，自动收回桌面操控权限，避免程序长期持有访问权限。

四、当前支持运行环境

1. 操作系统：全面支持 macOS、Linux 两大系统，覆盖个人设备与团队自建服务器；Windows 版本正在持续开发迭代，后续会完成全平台适配。
2. 运行模式：既可以在个人本机 My Machines 开启本地桌面操控，也可以在团队资源池 Team Pools 里给云端 worker 开启能力，远程操控服务器桌面程序。
3. 配套软件：支持 Chrome 浏览器、Office 全家桶、Adobe 设计软件、各类 PC 客户端工具，只要具备图形界面，都可以被智能体自主操作，不需要软件开放 API 接口。

五、主流落地应用场景清单

1. 办公自动化：自动打开 Word、Excel，批量填写表单、录入数据，自动保存文档并导出文件，替代重复性文字录入工作。
2. 网页客户端自动化：打开浏览器，自动点击网页按钮、填写账号信息、提交表单，完成网页端业务流程，不需要编写爬虫代码。
3. 软件自动化测试：智能体自动启动桌面客户端，依次点击菜单、输入测试内容，反复验证软件功能，自动截图留存测试结果。
4. 客户端信息填报：操作各类没有开放接口的桌面业务软件，自动完成信息录入、单据提交，解决传统工具无法管控封闭客户端的难题。

【相关 FAQ】

问题 1：开启 Cursor Computer Use 之后，智能体无法完成桌面点击操作，是什么原因？

回答 1：Cursor Computer Use 操作失效，绝大多数是权限授权对象错误，必须把辅助操控和屏幕录制权限给到独立的 Cursor Computer Use 助手程序，不要给终端、主 IDE 程序；其次要确认助手服务已经正常启动，终端指令没有报错；最后检查桌面没有弹窗拦截程序遮挡界面，保证视觉识别可以正常捕获画面。

问题 2：Cursor Computer Use 智能体可以操控哪些桌面软件，能不能操作无 API 的封闭客户端？

回答 2：Cursor Computer Use 依托屏幕视觉识别 + 键鼠模拟运行，不依赖软件开放 API，所有带有图形界面的桌面程序都能被智能体操控，包括 Office 办公软件、浏览器、设计软件、各类业务客户端；只要程序可以正常打开并显示界面，智能体就能定位按钮、输入框并完成点击输入动作。

问题 3：Cursor Computer Use 是否支持云端智能体远程操控服务器桌面？

回答 3：Cursor Computer Use 同时支持本机个人设备与团队自建服务器 worker；把能力开启在 Team Pools 团队资源池之后，云端智能体就可以远程接管 Linux 服务器桌面，自动操作服务器端桌面程序，完成远程自动化运维任务。

【参考资料】

[2026-10-24]（How to use Cursor Computer Use）Flavio Copes 个人技术博客

[2026-10-07]（Desktop Computer Use — let the Agent control local GUI apps）Cursor 官方社区论坛

[未知日期]（Computer use and desktop sharing | Cursor Docs）Cursor 官方开发文档

[未知日期]（Cursor's Agent Can Now Click Through Your Desktop Apps）DEV Community 技术社区

免责声明：本文仅对 Cursor Computer Use 功能的公开技术文档与版本更新信息进行客观整理，不构成任何软件使用指导与技术部署承诺；功能可用性、平台支持范围以 Cursor 官方最新版本文档为准；用户开启桌面操控权限时，请做好设备安全防护，仅在可信会话内启用自动化操作，避免非授权程序获取桌面访问权限。