影刀RPA桌面应用自动化不只是浏览器作者林焱前言RPA不只是网页自动化。公司里有大量应用是Windows原生程序——用友ERP、金蝶财务软件、各种老旧的MIS系统。这些都没有DOM结构网页指令全部失效。桌面应用自动化就是解决这个痛点的但它比网页自动化难一个量级。一、桌面应用 vs 网页应用操作方式的根本区别网页应用桌面应用定位方式XPath、CSS选择器图像识别、坐标、窗口控件稳定性较高DOM相对固定较低窗口大小/分辨率影响操作方式元素指令点击、输入模拟鼠标键盘调试难度中等高跨机器兼容好差需适配分辨率拼多多店群自动化报活动上架二、桌面自动化三个核心能力2.1 窗口管理指令激活窗口按窗口标题找到目标窗口把它拉到前台。踩坑窗口标题不完全等于你看到的标题栏文字。用获取所有窗口指令先列出所有窗口的标题找到目标窗口的准确标题。有时候标题后面带空格或特殊字符。2.2 元素定位——图像识别桌面应用大多不支持元素捕获需要用图像识别定位按钮/输入框截取目标按钮的小图作为模板保存流程运行时查找图片指令在当前屏幕上搜索这个模板返回匹配位置的坐标鼠标移动到该坐标 → 点击模板制作要点截图范围尽量小只要按钮本身不要周围背景选有辨识度的部分文字区域比纯色好和实际运行时保持相同的分辨率和DPI缩放2.3 键盘操作桌面应用中大量依赖键盘。Tab切换焦点、Enter确认、CtrlC/V复制粘贴。三、实战自动操作用友ERP场景每月从用友ERP导出销售数据报表。1. 激活窗口标题包含用友 2. Wait 2秒窗口加载 3. 按AltU → 打开业务菜单快捷键 4. 按下箭头5次 → 选中销售统计 5. 按Enter → 打开销售统计界面 6. 用图像识别找查询按钮 → 点击 7. 等加载 → Tab跳到导出按钮 → Enter 8. 选择保存路径 → 确认 9. Wait → 确认文件已生成四、桌面自动化的稳定性技巧1. 固定窗口位置和大小。每次运行前先把窗口最大化或调整到固定坐标。不同大小的窗口导致图像识别失效。2. 永远用快捷键而非鼠标。快捷键CtrlS保存、AltF4关闭比点击某个位置的按钮稳定得多——按钮位置可能变快捷键不变。TEMU店群矩阵自动化运营核价报活动3. 操作间加足够等待。桌面应用响应速度通常比网页慢特别是老旧的ERP系统。等待不足是头号翻车原因。4. 识别失败降级。图像识别找不到按钮尝试按Tab移到大致位置再回车。给流程多一条备选路径。五、关于UI Automation影刀理论上支持Windows UI Automation通过控件的Name/ClassName定位但实际上很多国产软件和老旧系统对UI Automation支持很差。实战中图像识别快捷键更务实。六、总结桌面自动化的核心公式窗口管理 图像识别 快捷键。它比网页自动化麻烦但很多企业的核心系统就是桌面应用——你得学会它。下一篇讲多窗口处理——同时管理多个浏览器窗口的实战策略。作者林焱影刀RPA深耕实践者致力于让每个普通人都能学会自动化