UI-TARS 桌面版上手指南三步装好一个能听懂人话的 GUI 自动化助手【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop把“打开 VS Code 并启用自动保存”打进输入框电脑就开始自己移动鼠标完成任务——不用再手动复制粘贴重复操作。UI-TARS 桌面版UI-TARS Desktop能把一句自然语言翻译成精准的 GUI 自动化操作本文带你从安装、授权到配好模型跑通第一个任务。 三十秒定位它是做什么的UI-TARS Desktop 是字节跳动开源的桌面应用基于 UI-TARS 视觉语言模型UI-TARS-1.5 / Seed-VL 系列构建。它通过“截图 → 识别 → 操作”的循环让你用自然语言控制本地电脑和浏览器。装上桌面应用即可直接使用同一套能力也以 SDK 形式开放给开发者复用。⚖️ 凭什么和传统自动化工具不一样免脚本、免选择器传统自动化工具要写脚本或录制点击路径界面一改版就失效这里只需用一句人话描述任务模型从最新截图里自己找元素。视觉优先不只看浏览器它依据屏幕像素而非页面 DOM 结构操作原生桌面应用不只是网页基本都能被控制。动作可精确、可打断支持点击、双击、输入、滚动等动作每一步实时可见你可以随时接管或终止。本机做主场任务循环在本地跑截图只发给你自己配置的模型服务不经过额外的第三方中转。 三步装好下载、权限、配置模型第一步下载并安装应用两种方式到官方 releases 页面下载最新安装包或在已装 Homebrew 的 Mac 上执行一行命令brew install --cask ui-tarsmacOS把UI-TARS应用拖入“应用程序”文件夹。Windows双击安装程序按向导走。两个前置条件先记住打算用浏览器模式先装好 Chrome、Edge 或 Firefox 之一应用目前仅支持单显示器环境。完整流程可对照仓库内的 快速开始。第二步授予系统权限macOS 上Agent 需要两项权限才能“看”到屏幕、“动”鼠标系统设置 → 隐私与安全性 →辅助功能系统设置 → 隐私与安全性 →屏幕录制第三步配置 VLM 模型VLM视觉语言模型是 Agent 用来“看懂”屏幕并决定下一步动作的模型你需要给它一个服务地址。常用两条路线路线 AHugging Face 部署 UI-TARS-1.5在端点目录点“Deploy from Hugging Face”选择UI-TARS-1.5-7B模型部署完成后拿到 Base URL、API Key 和 Model Name 三样东西。到应用设置页填入Language: en VLM Provider: Hugging Face for UI-TARS-1.5 VLM Base URL: https://your-endpoint/v1/ VLM API KEY: your_api_key VLM Model Name: UI-TARS-1.5-7B路线 B火山引擎 Ark 的 Doubao-1.5-UI-TARS在火山引擎 Ark 控制台激活模型、取得 API Key 与接入信息后填入Language: zh VLM Provider: VolcEngine Ark for Doubao-1.5-UI-TARS VLM Base URL: https://ark.cn-beijing.volces.com/api/v3 VLM API KEY: YOUR_API_KEY VLM Model Name: doubao-1.5-ui-tars-250328两个最容易踩的坑Base URL 必须以/v1/结尾VLM Provider 必须和模型端点一一对应选错会导致动作解析失败。填完点Check Model Availability验证通过就算配置完成。各字段完整说明见 设置指南。️ 操作模式与示例指令本地计算机模式适合想让 AI 直接操作本机应用的人开程序、改设置、填表单都行。“打开 VS Code在设置里启用自动保存延迟设为 500 毫秒”“在桌面新建一个名为『项目文档』的文件夹”“打开系统设置把屏幕亮度调到 70%”本地浏览器模式适合跨网站比价、信息收集、重复性网页操作前提是本机装了 Chrome、Edge 或 Firefox。“在两个电商网站搜 iPhone 15 的价格并做个对比”“打开 UI-TARS-desktop 项目页面查看最新的 open issue”“打开天气网站告诉我北京这周的天气”远程操作模式适合不想在自己机器上执行、需要隔离云端环境的人。提供远程计算机与远程浏览器两类 Operator界面上可以直接用鼠标“接管”云端窗口。“打开今日头条把热榜前三条读给我听”“在目标网站列出所有价格在 100 元以下的商品”注意官方免费 Remote Operator 试用已于 2025 年 8 月 20 日结束需要远程环境时得按官方文档自行部署。 进阶玩法预设、报告与 SDK预设一键切换整套环境预设Preset是把全部设置打包成一个 YAML 文件支持从本地文件或 URL 导入从 URL 导入的远程预设会在每次启动应用时自动同步。团队交接环境、个人多套配置切换不用再一项项手填。格式参考 示例预设配置规则详见 预设管理。执行报告任务留档与分享任务结束后可把执行记录导出为 HTML 报告包含每一步的截图与动作若设置了 Report Storage Base URL还能直接上传到你自建的存储服务生成可分享的链接。SDK把能力装进你自己的程序核心能力同时打包在ui-tars/sdk支持 Node.js 与浏览器一行命令可以先体验 CLInpx ui-tars/cli start它内置 NutJS桌面、Web浏览器、ADB安卓设备等 Operator换一个 Operator 实例就能把 Agent 指向不同设备。完整 API 见 SDK 文档。❓ 高频问题六个坑帮你少绕弯路Q辅助功能和屏幕录制权限为什么都要给辅助功能是允许应用注入鼠标键盘操作屏幕录制是允许它截取屏幕。一个负责“动”一个负责“看”缺了哪样 Agent 都跑不起来。QVLM Provider 到底怎么选按你使用的模型端点对应选项来比如 Hugging Face 端点就选“Hugging Face for UI-TARS-1.5”火山引擎就选“VolcEngine Ark for Doubao-1.5-UI-TARS”。选错时模型会解析出无法执行的动作。Q模型检查失败或点击不准怎么办先确认 Base URL 是否以/v1/结尾、API Key 是否有效、是否处于单显示器环境。仍不行就把长任务拆成几条短指令分步执行。Q多显示器能用吗目前只支持单显示器多显示器配置可能导致部分任务失败建议先拔掉副屏再跑关键任务。Q浏览器模式有什么前置要求本机必须装有 Chrome、Edge 或 Firefox 之一。应用会自己拉起浏览器窗口操作你不需要手动开浏览器。Q远程操作还能免费用吗官方免费 Remote Operator 试用已截止需要远程执行环境时按官方文档自行部署再在应用里配置对应端点即可。 现在开始下载安装、配好模型今天就能跑起第一个任务。建议从这两个入门任务试起“打开浏览器搜索『本周 AI 资讯』”“在桌面新建一个名为『UI-TARS-练习』的文件夹”把任务说成一句话把鼠标交给模型。【免费下载链接】UI-TARS-desktopThe Open-Source Multimodal AI Agent Stack: Connecting Cutting-Edge AI Models and Agent Infra项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS-desktop创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考