agent-desktop 1.3.1的JSON快照如何区分桌面权限与沙箱问题?

Elena
Elena
发布时间:2026-11-16| 4人浏览过
原创

agent-desktop 1.3.1以JSON封装桌面命令结果,操作目标来自辅助功能树中的快照ref。排查失败时,应先区分平台权限、过期ref和沙箱生命周期;该补丁让已启动沙箱在启动器退出后保持运行,不代表桌面任务已经完成。

agent-desktop桌面自动化工具说明

先确认工具返回什么

这个工具同时提供CLI和C库,不自带推理模型。AI代理负责决定下一步,agent-desktop负责读取操作系统辅助功能树或执行具体桌面动作。命令输出的JSON封装是程序接口,不能把其中的成功状态简单等同于用户最终目标已经实现。

官方快照示例包含snapshot_id、ref_count、complete和tree等字段。tree中的ref属于生成它的那次快照;裸元素编号不够,界面变化后旧ref可能返回STALE_REF或AMBIGUOUS_TARGET。这种情况需要重新观察,不应把同一旧目标无限重试。

在终端核对1.3.1与当前平台

以下操作面向已有Node.js/npm的环境,使用当前用户有权写入的全局安装位置。先固定安装1.3.1,再读取版本与状态;不要用其他版本输出验证这个补丁。

npm install -g agent-desktop@1.3.1
agent-desktop version
agent-desktop status

预期version确认实际运行的CLI,status返回平台、权限和支持表面。某个可执行文件仍指向旧安装时,应先解决安装路径选择。macOS、Windows和Linux依赖的辅助功能接口不同,同一份自动化计划不能假定三者权限表现完全一致。

对操作结果重新取快照

macOS上可用Finder读取交互元素。下面的命令只观察,不包含点击、输入或删除动作;需要本机具备对应的辅助功能权限,并有可观察的Finder界面。

agent-desktop snapshot --app Finder -i

预期得到包含该次快照标识和可操作元素ref的JSON。后续动作须使用实际返回的完整ref;若窗口、弹窗或界面发生变化,应重新读取快照再选择目标。这里没有预填任何机器上的元素编号,也不把官方示例编号当作你当前桌面上的真实目标。

多个窗口可能需要明确窗口身份。输出中的错误码和细节比“命令没成功”更有区分力:权限不足、目标歧义与旧ref分别指向不同排查方向。若要重试失败动作,应遵守错误结果中disposition.retry的安全判断。

1.3.1修复的是另一层生命周期

如果任务还使用sandbox,1.3.1的修复让已启动沙箱在启动器退出后继续运行,避免其存活依赖启动器。它与ref有效性不同:前者关心运行环境是否仍然存在,后者关心界面目标是否仍对应当前快照。Release还将rustix更新到1.1.6以处理RUSTSEC-2026-0486,不应把这项依赖变更泛化为新的桌面功能。

agent-desktop 1.3.1正式补丁的两项变更

内置指南与日志边界

读取所安装版本附带的桌面与平台指南,可避免把其他发行版说明中的行为混入当前使用环境。

agent-desktop skills get desktop
agent-desktop skills get platform

预期分别输出桌面观察、操作与核验规则,以及当前操作系统差异。快照、剪贴板、截图和调试资料可能包含桌面私密内容,排错材料应只保留必要信息,不应把整份桌面输出直接上传到公开日志。最终验收仍应观察目标应用的实际状态,不能只凭启动命令结束或一条JSON响应下结论。

相关专题:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。