UI-TARS Desktop从本地部署到首次 GUI 自动化任务的完整实战指南【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop每次换个屏幕分辨率、或者目标应用升个级你写好的坐标自动化脚本就全废了——GUI 自动化过去就是这么脆。UI-TARS Desktop 用视觉语言模型把这件事换了一种做法先截屏让 UI-TARS 模型看懂屏幕上哪个元素在哪个位置再模拟鼠标键盘去完成点击和输入你只需要敲一句自然语言。读完这篇你能在自己的电脑上装好这个应用、接上模型服务并让它完成第一个真实任务。能力全景自然语言驱动不写脚本、不抓坐标输入打开 VS Code 并开启自动保存一句它就自己执行屏幕视觉识别实时抓取屏幕画面靠截图识别界面元素而不是靠固定坐标鼠标键盘控制点击、输入、滚动等动作全支持执行过程留全程截图双操作模式Computer Use 管本地电脑Browser Use 管浏览器全程报告每个任务自动生成分步 HTML 报告可导出、可分享从零跑通环境速查项目最低要求推荐系统macOS 12 或 Windows 10/11单显示器环境多屏易导致任务失败浏览器Computer Use 不需要Browser Use 需装 Chrome、Edge 或 Firefox模型服务Hugging Face 或火山引擎 Ark 账号使用 UI-TARS-1.5-7B 模型macOS 权限辅助功能 屏幕录制首次启动前就开好注意一点应用本体完全跑在你本机但它依赖的视觉语言模型要接云端端点Hugging Face 或火山引擎 Ark你在设置里填的就是模型端的 Base URL 和 API Key不需要本机部署模型。安装命令macOS 且不想碰源码一条命令搞定# macOS用 Homebrew 一键安装 UI-TARS Desktop brew install --cask ui-tarsWindows 用户或者想自己构建应用走源码构建# 克隆项目并进入目录 git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop cd UI-TARS-desktop# 安装依赖需 pnpm 9再构建打包桌面应用 pnpm install pnpm --filter ui-tars-desktop run build构建完成后会产出对应平台的安装包。Windows 直接运行安装程序就能看到主界面macOS 还要多做两步。首次启动与权限macOS 上把应用拖进 Applications 文件夹把 UI-TARS 拖入 Applications 完成安装首次运行需要系统授予两个权限缺一不可辅助功能让它能模拟键盘鼠标屏幕录制让它能截图给模型识别到 系统设置 → 隐私与安全性 里把两个开关都打开再重新打开应用。辅助功能与屏幕录制两个开关都要打开打开后你看到的主界面左侧是历史对话和设置入口中间是聊天区主界面左侧边栏 中央聊天区如果卡在这一步截图发出去后屏幕全黑、或者应用看不见任何东西基本都是屏幕录制权限没生效——把开关关掉再打开然后重启应用。核心功能实操接上大脑配置模型服务应用本身不带模型第一件事是告诉它用哪个 VLM 服务。点左下角Settings会看到 VLM Settings、Chat Settings、Report Settings 三个区块设置主界面VLM / Chat / Report 三大区块其中VLM Provider下拉框是关键——它决定模型输出的动作如何被解析。四个选项对应不同模型家族必须选成和你实际接入的模型一致Provider 下拉决定动作解析策略其余三个字段照抄你的模型端点信息即可。以 Hugging Face 为例关键字段是# VLM 配置的四个关键字段在设置界面逐项填写 Language: en VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint.hf.space/v1/ VLM API KEY: hf_xxx VLM Model Name: tgi两个易错点Base URL 要以/v1/结尾模型服务的 endpoint 页面能看到完整值Provider 和模型必须同一家族否则模型看得见屏幕、动作却会被解析错。填完点Check Model Availability验证通过就可以收工。填入 Base URL、API Key 与 Model Name 后保存选场景Computer Use 还是 Browser Use点左上角New Chat输入框下方会出现场景下拉两个选项新建会话时选 Computer Use 或 Browser UseComputer Use接管整个本地桌面适合操作任意应用的任务Browser Use在浏览器里操作适合网页类任务需先装好浏览器可直接复用的任务示例Computer Use 场景打开系统设置并进入网络配置跑第一个任务选好场景后在输入框里写指令、回车。右侧区域会实时显示执行过程中的截图你可以跟着看它每一步干了什么输入自然语言指令回车开始任务可以直接试这个检查 UI-TARS-Desktop 项目最新的 open issue模型会不断循环截图 → 识别 → 动作直到它判断任务完成或者达到步数上限默认 100 步。结束后可以把整个过程导出成 HTML 报告逐步回看截图和动作也可以分享给别人。远程操作器还能干什么v0.2.0 起官方还提供过免费的 Remote Computer / Remote Browser 服务点开就能直接接管云端电脑或云端浏览器Remote Browser Operator鼠标接管云浏览器注意免费远程服务已在2025 年 8 月 20 日停用。想继续用远程模式得自己部署远程 Agent官方建议走火山引擎的 OS Agent 服务自建。对多数读者来说本地操作器就够用了。原理速览一次任务在应用里的流转大致是这样UTIO 数据流从指令下发到报告分享你输入指令主进程记录事件可选上报到 UTIO 数据通道本地操作器operator抓取当前屏幕截图应用把指令 最近 5 张截图组装后发给 VLM模型返回下一步动作形如click(start_box(27,496))操作器执行动作回到第 2 步循环直到任务完成或达到 Max Loop结束后生成分步 HTML 报告可导出或分享代码上apps/ui-tars/src/main是主进程agent/放 Agent 核心循环services/runAgent.ts负责调度任务utils/systemPermissions.ts处理 macOS 权限检查各类操作器放在packages/ui-tars/operators/下——nut-js 管本地电脑browser 管浏览器另有 adb 与 browserbase 变体。界面层只负责展示对话流和报告。进阶配置与调优切换模型提供商改哪里Settings → VLM Provider 下拉框同时把 Base URL / API Key / Model Name 一起换掉 改成什么如 VolcEngine Ark for Doubao-1.5-UI-TARSModel Name 为doubao-1.5-ui-tars-250328 为什么Provider 决定动作解析策略配错会出现识别对了但动作执行歪调步数与节奏改哪里Settings → Chat Settings → Max Loop25–200默认 100与 Loop Wait Time0–3000ms默认 1000 改成什么多步复杂任务把 Max Loop 调到 200页面加载慢的任务把 Loop Wait Time 调到 2000 为什么截图前多等一会儿减少看到半加载的页面就误操作省 Token 提速改哪里Settings → VLM Settings → Use Responses API 改成什么模型支持时打开 为什么降低整体 token 消耗、提升响应速度使用场景推荐配置原因简单日常操作Max Loop 100、Wait Time 1000ms默认速度够快不浪费步数多步复杂任务Max Loop 200、Wait Time 2000ms步数更充裕等页面加载更稳Token 消耗偏高打开 Responses API降消耗、提速典型应用场景日常办公重复的表格填写、文件操作是最擅长的活。打开桌面的销售表格把这月的数据录入第一个工作表保存文件开发配置用自然语言配置 IDE替代逐层翻菜单。打开 VS Code在设置里开启 Auto Save并延迟 500 毫秒界面回归测试每次改版后跑一组固定自然语言检查项替代维护坐标脚本。打开登录页输入测试账号和密码点击登录验证登录成功后的跳转踩坑与自救模型校验不通过症状Check Model Availability 报错 排查方向① Base URL 是否以/v1/结尾 ② API Key 是否过期 ③ 模型名和 Provider 是否匹配 解决回模型服务的 endpoint 页面把 Base URL / API Key / Model Name 三项原样复制过来macOS 看得见屏幕却点不动症状截图正常但动作没执行 排查方向① 辅助功能开关是否打开 ② 授权后是否重启过应用 ③ 系统更新后权限是否被重置 解决系统设置 → 隐私与安全性 确认两个开关完全退出应用再重开应用打不开或界面损坏症状启动无响应、界面错乱 排查方向① 重启电脑 ② 版本过旧设置里 Check Update③ 安装包本身损坏 解决用包管理器重装# macOS卸载后重装 UI-TARS Desktop brew uninstall --cask ui-tars brew install --cask ui-tars多屏下任务随机失败症状同一任务有的机器成功有的失败 排查方向① 是否多显示器配置 ② 目标应用是否开在非主屏 解决官方目前仅支持单屏改接单显示器或把任务目标放主屏Browser Use 没反应症状选了 Browser Use浏览器没被拉起 排查方向① 是否装了 Chrome/Edge/Firefox ② 搜索引擎设置是否可达 解决装一个稳定版浏览器网络环境受限时把 Settings → Operator Settings → Search Engine 改成 Baidu延伸与收尾上手之后下一步是 SDK用ui-tars/sdk把模型 操作器这套架构装进自己的程序实现自定义 Operator也可以用预设Preset从 YAML 一键导入整套配置。关键入口docs/quick-start.md安装与接模型docs/setting.md全部设置字段说明docs/sdk.mdSDK 与自定义操作器开发第一个真实任务建议从低风险开始打开系统计算器计算 123 乘 456——跑完看一眼 HTML 报告你就明白它每一步是怎么走的了。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考