如何把RDT2部署到自定义机器人平台面向其他本体与末端执行者的进阶部署路线图【免费下载链接】RDT2Official code of RDT 2项目地址: https://gitcode.com/gh_mirrors/rd/RDT2RDT2 是面向具身智能的 VLA视觉-语言-动作基础模型基于 1 万小时以上 UMI 手持操作数据训练可在双臂 UR5e 与 Franka FR3 上实现抓取、放置等任务的零样本操作。本文面向新手完整讲解把 RDT2 部署到自定义机器人平台的进阶路线图从硬件接线、坐标系标定到用自己的数据微调模型覆盖更换本体与末端执行器的场景 ️ 部署路线图总览先选对路径RDT2 官方已在 Bimanual UR5e 与 Bimanual Franka Research 3 上验证有效性并明确支持跟随指南部署到更多平台。根据你的硬件现状两条路线的分工是你的场景推荐路线核心工作关键入口沿用官方 UMI 腕部相机 夹爪硬件零样本直接部署本体配置 坐标系标定deploy/inference_real_fm.py更换了本体、末端执行器或相机微调部署数据采集 → 格式转换 → 训练scripts/finetune_rdt.sh 判断技巧只要腕部视角的相机安装方式和夹爪开合行程与官方硬件一致就能走零样本路线一旦末端执行器换了例如换成吸盘、灵巧手建议直接走微调路线。️ 准备工作环境、显存与仓库部署前先把地基打好仓库在 Ubuntu 24.04 上验证推荐 Python 3.10 conda 环境git clone https://gitcode.com/gh_mirrors/rd/RDT2 cd RDT2硬件资源参考单卡估算模式显存需求参考 GPU推理~16 GBRTX 4090微调 RDT2-FM动作专家~16 GBRTX 4090微调 RDT2-VQLoRA32 GBA100 (40GB)微调 RDT2-VQ全参80 GBA100 (80GB) / H100安装完成后记得按目标本体安装对应依赖如 requirements/ur5e.txt 或 requirements/franka_research_3.txt。 零样本部署让RDT2直接跑在新本身上第一步填写本体配置文件每个平台对应一份机器人配置如 configs/robots/eval_bimanual_ur5e_config.yaml自定义平台需要修改这些字段robot_ip本体的网络地址tcp_offset末端执行器在 TCP 坐标系下的长度偏移换夹爪必改unified_tx把各臂末端姿态统一到同一坐标系的变换矩阵单臂使用时直接注释掉第二个robots条目即可。第二步相机与夹爪参数用海康HikRobot鱼眼相机时先安装 MVS SDK 并把曝光时间设为 20000再运行以下脚本自动获取设备号并填入配置python deploy/get_camera_serials.py # 获取相机序列号 python deploy/get_gripper_serials.py # 获取夹爪序列号夹爪的open_width、force等参数在配置的grippers段中维护默认智行夹爪开合 0.12 m、夹持力 30。第三步Vive 追踪器标定对齐 TCP 坐标系 ⚠️这是最影响成功率的一步。流程是按官方硬件指南装好 Vive 追踪器 → 运行标定脚本机器人会做小幅度正弦运动执行前务必清空工作区→ 生成标定矩阵 → 粘贴进配置的tx_tracker_to_tcp字段python deploy/calibration/calibrate_ur.py --ur5e_ip 你的本体IP # 或 calibrate_franka.py python deploy/calibration/compute_calibration_matrix.py相关源码见 deploy/calibration/ 目录。第四步启动真机推理确认标定矩阵已写入后先跑 deploy/reset_robot_gripper.py 复位机器人与夹爪再选择模型启动RDT2-FM低延迟动作专家推荐先试deploy/inference_real_fm.pyRDT2-VQ自动回归 VLA语言跟随更强deploy/inference_real_vq.py两个入口都支持--interact交互模式按 S 暂停当前指令、输入新指令后回车即可换任务。模型每次输出(24, 20)的动作块30fps 下 0.8 秒双臂各 10 维位置 xyz 6D 旋转 夹爪宽度夹爪宽度会自动从 [0, 0.088] 重标定到 [0, 0.1]。 指令书写建议使用动词 宾语格式首字母大写并带句号例如Pick up the apple. 微调部署面向新末端执行器的训练路线换了末端执行器用自己的数据微调即可三步走1️⃣ 数据准备转成 WebDataset 分片把采集的数据整理成如下分片结构参考 configs/datasets/example.yaml 中的示例数据集配置shard-000000.tar ├── 0.image.jpg # 双臂腕部拼接图像 (384, 768, 3) ├── 0.action.npy # 相对动作块 (24, 20) ├── 0.action_token.npy # 动作 token (27,) └── 0.meta.json # 含指令索引字段2️⃣ 选择微调方式三种脚本任选脚本方式适用scripts/finetune_lora.shLoRA 低秩适配显存受限快速适配scripts/finetune_full_param.shDeepSpeed 全参微调大显存效果上限更高scripts/finetune_rdt.sh仅微调 FM 动作专家末端执行器变更时的首选VLM 不用重训⚠️ 两个避坑提示全参/LoRA 微调建议不超过 5 个 epoch防止过拟合若用 Residual VQ 作动作分词器先检查你的数据动作统计是否落在官方 RVQ 编码范围内。3️⃣ 跑起来训练配置好数据集 yaml 后直接执行对应脚本即可训练入口为 rdt/main.py模型代码在 models/ 目录。 核心文件地图自定义平台改哪些文件文件/目录作用configs/robots/eval_bimanual_ur5e_config.yaml本体、相机、夹爪、标定矩阵一站式配置deploy/calibration/TCP↔追踪器标定脚本与工具deploy/umi/real_world/双臂环境、RTDE/FR3 控制器、夹爪驱动新本体适配改这里deploy/inference_real_fm.py / deploy/inference_real_vq.py真机推理入口examples/ur5e/README.md / examples/fr3/README.md官方平台的分步部署教程scripts/finetune_rdt.sh微调启动脚本 部署成功率低先试这些官方经验来自 examples/DEPLOYMENT_TIPS.md 的实战技巧✅标定优先90% 的模型不听话其实是标定矩阵没对齐✅ 鱼眼相机视野有限把物体放在清晰可见的位置利用图像可视化界面确认✅ 桌面铺软垫如厚泡沫硬接触可能触发力矩保护急停✅ 夹爪打滑时贴防滑胶带✅ 抓取与放置拆成两条独立指令——预训练模型暂不支持任务组合✅ 初始姿态参照官方示例图调整别用默认位形直接跑。✅ 部署路线总结定路线硬件一致 → 零样本换末端执行器 → 微调填配置本体 IP、tcp_offset、相机/夹爪序列号、标定矩阵做标定追踪器 ↔ TCP 对齐是成败关键跑推理FM 低延迟、VQ 强语言跟随--interact边跑边换指令不达标就微调数据转 WebDataset → 选脚本 → 开训 按这份路线图走无论是新本体还是新末端执行器你都能把 RDT2 稳稳地搬到自己的机器人平台上。【免费下载链接】RDT2Official code of RDT 2项目地址: https://gitcode.com/gh_mirrors/rd/RDT2创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考