UI-TARS快速上手指南用多模态智能体完成GUI自动化操作【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARSUI-TARS 是一个开源的多模态 GUI Agent 项目基于视觉语言模型 UI-TARS-1.5 理解截图、规划并输出可执行的界面操作同时提供 ui-tars Python 包把模型输出转成 pyautogui 脚本。适合想搭建桌面或移动端自动化测试链路的开发者。它解决了什么问题官方定位为 Pioneering Automated GUI Interaction with Native Agents用原生智能体实现自动化的 GUI 交互。三个常见使用场景桌面操作自动化 → 模型直接看截图决定点击、输入、拖拽无需为每个页面手写选择器支持 Windows、Linux、macOS。移动应用回归测试 → MOBILE_USE 模板内置长按、打开应用、回主页/返回等 Android 专属操作可直接在模拟器里跑。点击位置核验 → 模型输出坐标后可反算回原图并画点方便核对实际点到了哪里。官方性能表中UI-TARS-1.5 在 OSWorld100 步取得 42.5在 ScreenSpot-V2 取得 94.2均领先于表中对比的模型数据以 README.md 的 Performance 一节为准。核心功能拆解截图理解与三套提示词模板模型每步输出Thought Action先推理再决定动作。codes/ui_tars/prompt.py提供三套模板COMPUTER_USE桌面、MOBILE_USE移动端、GROUNDING只输出动作用于评测。适用情况按目标平台选模板不要混用。动作输出解析与 pyautogui 脚本生成parse_action_to_structure_output把模型文本解析成结构化动作parsing_response_to_pyautogui_code直接生成可执行的 pyautogui 代码覆盖 click、type、hotkey、drag、scroll 等。实际效果模型输出与本地屏幕控制之间只差一步调用。适用构建桌面自动化链路。坐标缩放与可视化基于 Qwen2.5-VL 的模型用绝对坐标定位而图片进模型前会被缩放坐标系随之变化。smart_resize负责坐标反算README_coordinates.md 中的脚本可把反算后的点画成红点标注在原图上适用情况凡接入 Qwen2.5-VL 系模型必做这一步否则点击位置会偏移。 从零跑通环境要求Python 3.10ui-tars 包 requires-python 为 3.10,4.0模型推理需要 CUDA GPU官方对 7B 模型推荐 L40S 48GNvidia L4 / A100 也可解析包本身无运行时依赖。git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars python codes/tests/action_parser_test.py最后一条命令运行仓库自带的解析单元测试能跑通即说明环境可用。模型云端部署HuggingFace endpoint另见 README_deploy.md。关键参数与配置参数作用推荐值出处model_type决定坐标解析方式qwen25vl 或 doubao以实际所用模型为准codes/README.mdfactor坐标缩放因子1000codes/README.mdmax_pixels / min_pixels图片缩放后的像素上下限默认 16384×28×28 / 100×28×28codes/README.mdinput_swap文本输入是否走剪贴板粘贴默认 Truecodes/README.md部署 GPU模型推理实例规格7B 推荐 L40S 48GL4/A100README_deploy.mdCUDA_GRAPHS / PAYLOAD_LIMITendpoint 环境变量避免部署失败与大图请求报错0 / 8000000README_deploy.md 注意事项与常见坑坐标不反算是第一大坑README 明确提示 Qwen2.5-VL 系模型使用绝对坐标必须按 README_coordinates.md 的流程换算回原始分辨率否则点击整体偏移。endpoint 部署少配环境变量需设置CUDA_GRAPHS0与PAYLOAD_LIMIT8000000否则部署失败或大图请求报错README_deploy.md 有说明与链接。开源 7B 模型未针对游戏优化Limitations 一节指出 UI-TARS-1.5-7B 面向通用 computer use游戏场景下完整 UI-TARS-1.5 仍有明显优势。陌生界面存在幻觉模型可能误识别元素或输出次优动作歧义较大的 UI 场景需要留一步结果校验。Python 版本下限ui-tars 要求 Python 3.103.9 环境安装会失败。小结UI-TARS 把看截图 → 想动作 → 执行脚本串成了一条可复用的链路其中真正要动手集成的核心是 ui-tars 包里的动作解析与坐标转换。建议先读 README_deploy.md 和 README_coordinates.md把部署与坐标换算理解透再开始集成。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
