UI-TARS 上手AI 自动化游戏测试实测 14 款小游戏【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS版本一更新测试同学小王又开始了例行活打开客户端把新手引导点一遍切换到 1080p 再点一遍切到 4K 再点一遍最后对着同一批按钮截图、填单。这种活儿枯燥、重复而且永远测不完。开源项目 UI-TARS 接的就是这类活。它是一个基于视觉语言模型的 GUI 智能体直接看屏幕画面来理解界面元素然后自己执行点击、拖拽、键盘输入等自动化测试动作。你只需要描述任务它负责跑流程、留证据。看懂屏幕之后它怎么动手本质上是个看、想、做的闭环。先看什么模型接收整屏截图在画面中定位按钮、图标这类元素并给出像素级坐标。官方在 ScreenSpotPro 视觉定位基准上的准确率是 94.2%——对游戏测试来说这个数字决定了它能不能点中那个小图标而不是点偏到旁边的区域。再看它怎么动模型输出的不是一句我点了开始按钮而是可执行的动作序列。点击、双击、拖拽、滚轮、快捷键、长文本输入这些鼠标键盘操作被统一成结构化的动作描述再通过仓库里自带的解析模块转换成实际的屏幕操作。游戏里的常见套路比如登录→创建角色→跑完引导可以写成一条多步任务链让它自己跑。最后看出错时留下什么每一轮操作前后都有屏幕画面记录失败的任务能拿到带截图的过程轨迹排查问题不用靠回忆当时是不是点错了。实测14 款游戏的通过率对比结论先说同一批游戏差距在 42.8% 与 100% 之间。测试环境是 Poki 平台上的 14 款热门小游戏机器配置 i7-13700K RTX 4090数据来自官方性能报告对比对象取报告中的传统方法成绩游戏类型UI-TARS-1.5 通过率传统方法通过率2048数字益智100.0031.04Maze: Path of Light迷宫探索100.0035.00Hex FRVR策略对战100.0092.25Energy路径规划100.0032.80Free the Key密室解谜100.000.00Gem 11消除100.0046.27Infinity Loop益智100.0023.08Shapes形状匹配100.0052.18Snake Solver贪吃蛇100.0042.86Wood Blocks 3D方块100.002.02Yarn Untangle线团解谜100.0044.56Laser Maze Puzzle激光迷宫100.0080.00Tiles Master滑块拼图100.0078.27Cubinko3D 积木100.000.00传统方法平均完成率 42.8%不少游戏比如 3D 积木和密室类直接归零UI-TARS-1.5 在这批任务上实现了 100% 的自动化通过率。对 QA 团队的意义很直接原来要人肉跑的回归用例现在可以挂上去过夜。UI-TARS 安装与首次运行一条 pip一次 clone就能跑通示例。git clone https://gitcode.com/GitHub_Trending/ui/UI-TARS cd UI-TARS pip install ui-tars装好后运行仓库自带的动作解析示例验证环境是否可用python codes/tests/action_parser_test.py --game 2048测试任务本身用 JSON 描述仓库 data 目录下有现成样例结构大致是{ role: user, content: 自动完成橡木采集找到树木→装备斧头→砍伐收集 }模型部署、推理服务配置这些细节看仓库里的部署文档 README_deploy.md 就够了官方推荐带 NVIDIA GPU 的机器L40S 一档体验最佳本地示例建议显存 12GB 以上。适合谁不适合谁适合重复性界面流程不适合复杂的实时 3D 操作。比较适合的场景有三类一是多分辨率回归——同一套用例在 1080p、2K、4K 下反复跑正是视觉模型不怕坐标漂移的长项二是新手引导、注册登录这类固定流程的持续验证每次发版自动重跑三是跨端适配桌面端与 Android 模拟器都有对应的提示模板同一任务换平台重测的成本很低。边界也要说清楚它依赖 NVIDIA GPU 和一定量的显存纯 CPU 环境跑不动对复杂 3D 场景里的实时操作帧率敏感、连续操作组合表现有限仓库文档也明确提示了大规模任务下的算力开销。如果你只做轻量验证可以先从 2D 小游戏和桌面 GUI 任务入手。另外两个延伸信息顺带一提UI-TARS-2 已于 2025 年 9 月发布在 GUI、游戏、代码和工具调用上都有增强项目还有一个 UI-TARS-desktop 桌面客户端可以在个人设备上直接跑。下一步完整文档阅读仓库根目录的 README.md含部署、提示模板与性能数据桌面客户端关注 UI-TARS-desktop 项目免配置直接上手社区入口README 里附了 Discord 社区链接有问题可以直接去问。【免费下载链接】UI-TARSPioneering Automated GUI Interaction with Native Agents项目地址: https://gitcode.com/GitHub_Trending/ui/UI-TARS创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
