Skip to content

电脑控制预览 ​

通过 macOS 桌面应用,让 xopc 读取或操作一个应用窗口。预览功能需要兼容的 GUI 模型和系统权限,建议从小范围、有人看护的任务开始。

完成设置 ​

  1. 安装包含电脑控制功能的已签名 macOS 桌面版本。
  2. 打开 设置 → 集成 → 电脑控制(#/settings/computer-use),启用控制,并为 xopc 授予 macOS 辅助功能和屏幕录制权限。
  3. 允许需要使用的应用。建议先逐个授权应用。
  4. 从已连接目录选择兼容 GUI 模型并保存。自有密钥先连接对应服务商;使用 XOPC Cloud 时先登录并刷新目录。普通聊天的模型选择不会自动配置电脑控制。
  5. 在桌面聊天中说:读取飞书当前页面,不要点击。 如果需要启动应用,请明确说:打开飞书并读取当前页面。

授权修改前,核对回答对应的应用与窗口。多个窗口或进程匹配时,选择实际目标。

描述任务 ​

说明应用、预期结果以及是否允许修改。只读请求不允许点击或输入。操作任务应给出可观察的完成条件,例如保存后的标题,并亲自检查应用最终状态。

视觉判断所需截图可能发送给选定的云端模型。截图临时使用,不建立桌面截图历史库。请避免在目标窗口展示无关敏感内容。

密码、验证码、支付和安全设置需要手动处理。终端和密码管理器不能作为控制目标。此预览尚未通过无人值守工作认证。

故障恢复 ​

只有桌面明确确认“界面在派发输入前发生变化”、且没有执行回执时,运行时才会丢弃提案,重新观察和规划。computer.maxRescuesPerSession 是整个会话共享的救援上限,默认 1 次,允许 0–3 次,0 表示禁用。提高上限需要新建会话,降低立即生效。救援保留原目标、应用窗口、模型和本地授权检查;执行结果不确定、原生操作失败或截图未变化都不会触发自动重试。详见有限救援边界。

现象处理
找不到模型登录或重新连接服务商,刷新模型目录并选择兼容 GUI 模型
无法读取或控制窗口检查 macOS 权限和应用允许列表
多个窗口匹配选择或只保留需要操作的目标
桌面与 Gateway 不兼容两端更新到同一构建并重启;停止独立运行的不兼容 Gateway
桌面设备被撤销点击重新注册桌面设备并在系统弹窗批准;应用控制权限仍需单独授予
模型或截图上传失败保留诊断编号或请求编号,查看日志,修复原因后再试
操作可能已经生效先检查应用再决定是否重复;结果不确定的操作不会自动重放

模型表示结束不等于文件保存或远端操作成功,应核对真实结果。切换到其它浏览器或应用工具前,先停止电脑控制。

只操作网站见浏览器自动化;模型连接见模型与服务商。

沉淀和复用已验证导航 ​

可以让 xopc 记住已验证的原生导航流程,例如打开某个有唯一名称的标签页。保存是显式操作:computer_use 在 close 时传入 saveFlowAs,先确认释放桌面控制,再保存完整的原生激活/上下文菜单步骤;最后一步必须有原生选中状态或具体页面内容的正向验证。模型说“成功”不够,首版不保存含输入、坐标点击、快捷键、歧义控件、失败、人工接管或不确定执行的流程。

flows 列出同一 Agent、工作区中保存的名称和 ID;在 step 中提供 flowId 与当前任务目标及完成条件即可参考。每一步仍会重新观察、请求当前 GUI 模型规划、绑定新的控件引用,并经过现有本地授权、应用/设备范围和预算检查。历史流程不会自动授予发送、删除等权限,也不会触发不确定动作重试。forget_flow 可在本地删除记录。

流程使用现有私有 SQLite 数据库,重启后保留,30 天过期,每个 Agent/工作区最多 32 条。保存内容仅有名称、原生控件角色和标签、动作种类、历史条件、覆盖范围、应用和设备标识,不含截图、输入值、任务目标、坐标或旧元素引用。请使用不含敏感内容的名称和控件。选中条件只证明对应导航条件,不能证明保存、提交等完整业务成功。详见保存与复用边界。

固定版本的 macOS 驱动无法证明整棵可访问性树完整。此类快照仍标为部分覆盖:只允许保存已观察到的原生控件提示和具体页面内容的正向证据,不据此证明控件不存在、名称唯一或选中状态。控件名称本身及操作前已出现的文字不算保存依据。详见真实 TextEdit 验证。

真实 GUI-Plus 模型验证使用实际供应商响应,覆盖保存、独立进程重启后复用、本地授权和丢失回执后不重试。GUI-Plus 的 xopc 提示协议支持用当前 ref 显式请求 activate/show_menu,动作仍需通过现有原生校验与授权;部分覆盖时不会把坐标自动转换为原生动作。

新保存的流程绑定经过认证的持久桌面设备身份,重启后即使网络连接 ID 改变,也可以在重新授权后复用;重新注册成另一设备不能继承该流程。没有设备身份的旧流程仍保留原连接限制。详见真实 Gateway/桌面网络验证。

基于 MIT 许可证发布