UI-TARS 桌面版入门指南配置模型后跑通第一个自动化任务【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop在输入框里敲下打开 VS Code把自动保存延迟设为 500 毫秒UI-TARS 桌面版会接管你的鼠标键盘在设置面板里逐项完成修改。UI-TARS Desktop 是基于 UI-TARS 视觉语言模型的开源桌面 GUI Agent 应用提供本地电脑操作与本地浏览器操作两种模式适合想直接用自然语言完成重复性电脑操作、又不打算写自动化脚本的用户。️ 先看三个能跑通的实际场景场景一修改 VS Code 的自动保存配置本地电脑模式输入指令帮我打开 VS Code 的自动保存功能并将自动保存延迟设为 500 毫秒过程应用逐轮截屏识别界面打开 VS Code定位到设置入口勾选自动保存并填入 500 毫秒输出配置被实际修改每一步动作都留有截屏记录可导出为 HTML 报告场景二查看 GitHub 仓库的最新 Issue本地浏览器模式输入帮我查看 UI-TARS-Desktop 项目在 GitHub 上最新的 open issue过程应用启动本机已安装的 Chrome、Edge 或 Firefox导航到仓库页面识别 Issue 列表输出最新 issue 的标题与状态直接呈现操作过程同样可导出报告场景三比较商品价格本地浏览器模式输入帮我比较一下 iPhone 的价格过程在设置中配置的搜索引擎默认 Google可改为 Bing 或百度里检索逐个打开结果页读取价格输出多个渠道的价格对比结果主界面是欢迎页左侧卡片是 Computer Operator右侧卡片是 Browser Operator各有一个 Use Local Computer / Use Local Browser 按钮分别进入对应模式。页面上还有远程 operator 的入口不过官方文档注明 Remote Operator 服务将于 2025 年 8 月 20 日停止新手优先走本地模式即可。⚙️ UI-TARS Desktop 安装步骤与系统要求项目要求操作系统macOS 或 Windows浏览器仅浏览器模式需要Chrome、Edge 或 Firefox稳定版或预览版显示器目前仅支持单显示器环境多显示器可能导致部分任务失败安装分四步从项目 Releases 页面下载安装包macOS 用户把 UI TARS 图标拖进 Applications 文件夹如果你装了 Homebrew也可以直接运行brew install --cask ui-tarsmacOS 用户要给应用两项权限打开系统设置 → 隐私与安全性分别打开辅助功能和屏幕录制Windows 用户双击安装包遇到安全提示时点仍要运行最小必要配置接入 VLM 模型应用本身不带模型能力需要先配置一个视觉语言模型服务。设置页共五个字段Language、VLM Provider、VLM Base URL、VLM API Key、VLM Model Name。走火山引擎 Doubao-1.5-UI-TARS 是最省事的路子按官方示例填写Language中文VLM ProviderVolcEngine Ark for Doubao-1.5-UI-TARSVLM Base URLhttps://ark.cn-beijing.volces.com/api/v3VLM API Key在火山引擎API 推理页面获取VLM Model Namedoubao-1.5-ui-tars-250328如果你选择在 Hugging Face 自行部署 UI-TARS-1.5有两个易错点VLM Provider 必须选Hugging Face for UI-TARS-1.5VLM Base URL 要以/v1/结尾具体数值以你的 endpoint 页面为准。填完后点设置页的 Check Model Availability 先验证连通性再开始任务。完整走一遍从输入指令到导出报告打开应用看到欢迎页按任务类型选模式操作桌面应用选 Use Local Computer网页任务选 Use Local Browser。以本地电脑模式为例输入指令帮我打开 VS Code 的自动保存功能并将自动保存延迟设为 500 毫秒发送。执行期间模型按截屏 → 决策 → 动作的循环推进。设置里的 Max Loop 控制每轮对话的最大步数默认 100范围 25 到 200Loop Wait Time 是每轮截屏前的等待时间默认 1000 毫秒如果操作对象加载慢可以适当调大。任务完成后或点 Terminate 主动结束点击 Export as HTML 下载报告里面包含每轮截屏与动作记录方便复盘模型到底做了什么。 UI-TARS 桌面版常见问题1. macOS 下应用无法点击或无法截屏现象任务开始后应用没有实际控制鼠标键盘原因辅助功能或屏幕录制权限没有开启解决重新进入系统设置 → 隐私与安全性确认两项开关都打开重开应用再试2. 模型连通性检查失败现象点 Check Model Availability 后验证不通过原因Base URL 格式不对Hugging Face 自部署路线要求以/v1/结尾或 API Key 与 endpoint 不匹配解决对照 endpoint 页面逐项核对 URL、Key、模型名三个值重新验证3. 浏览器模式无法启动浏览器现象选择 Use Local Browser 后没有反应原因机器上没有安装受支持的浏览器解决先安装 Chrome、Edge 或 Firefox再使用浏览器模式4. 多显示器下任务失败或点击偏移现象任务中途失败或点击位置对不上目标控件原因应用目前仅支持单显示器环境解决临时断开副屏只用单显示器运行复杂指令拆成小步骤执行5. 任务未完成就停下了现象模型执行到一定步数后停止原因达到了 Max Loop 上限默认 100 步解决按需要调大 Max Loop上限 200或把指令拆细、减少总步数下一步深入配置与扩展跑通第一个任务后建议按这个顺序继续读 docs/setting.md了解 Chat SettingsLanguage、Max Loop、Loop Wait Time、搜索引擎选择与报告配置的完整参数读 docs/quick-start.md对照官方步骤补齐 Hugging Face 自部署的细节用设置页的 Import Preset Config 按钮批量导入 YAML 预设仓库内置示例在 examples/presets/自部署模型的完整说明见 docs/deployment.md整个流程就是安装、配模型、输指令、导报告这四步。把这条循环跑熟之后剩下的工作主要是调参数和尝试更复杂的任务。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考