Rerun 的 3 个核心能力把多模态机器人数据从日志、可视化一路流到训练【免费下载链接】rerunVisualize, query, and stream to train on multimodal robotics data.项目地址: https://gitcode.com/GitHub_Trending/re/rerunRerun 是一个面向机器人和物理 AI 的多模态数据层。你用 Python、Rust 或 C SDK 记录图像、点云、变换、时序、关节状态和原始视频这些数据会进入同一套基于列式块columnar chunk的存储内置的可视化器把这些不同速率的数据对齐到同一条时间轴上同步回放而同一份数据还能被数据框或 SQL 查询直接流式送进训练。这篇文章面向第一次接触 Rerun 的开发者把记录、回放、查询三条主线以及从源码编译可视化器这几件必做的事讲清楚。记录用三行代码把传感器数据喂给 Rerun核心动作只有三个初始化、绑定时间线、写实体。下面这段 Python 演示最小组合——初始化一个录制流、把后续数据标记在frame时间线的第 42 帧、然后往path/to/points实体写一批带颜色的 3D 点import rerun as rr rr.init(rerun_example_app) rr.set_time(frame, sequence42) rr.log(path/to/points, rr.Points3D(positions, colorscolors))跑完你会得到一个.rrd录制或调用rr.spawn()直接弹出可视化器。.rrd本质是一条条追加进文件的日志消息当前版本永远能打开上一版生成的文件更早的版本不保证。Rerun 把每个数据点组织成组件component 时间线timeline所以同一实体在不同时间轴上可以各存一份。这正是它能对齐相机、LiDAR、IMU 这类不同速率数据的原因也是它和只打文本日志的调试器最本质的区别。回放可视化器把多路数据对齐到同一时间轴可视化器是 Rerun 的核心输出有几种启动方式代码里rr.init(..., spawnTrue)日志一写出来就自动弹窗命令行rerun mydata.rrd打开已存在的录制rerun --web-viewer mydata.rrd在浏览器里跑 Wasm 版底层用wgpu渲染覆盖 Vulkan / Metal / D3D12 / WebGPUGUI 用egui所以原生窗口和网页版共享同一套渲染代码架构细节见 架构说明。回放时最关键的是时间轴底部时间面板支持拖动、缩放、循环把图像帧、点云、时序曲线对齐到同一时刻。整个可视化器是即时模式immediate mode实现的——每帧都重新查询内存里的块存储再喂给渲染器——因此切换数据源、来回拖时间轴都不会有明显卡顿。想直观感受各种数据类型的效果可以翻一遍 示例集。查询同一份数据用数据框或 SQL 捞出来可视化取的是这份存储的一个切面取数训练用的是同一份底层数据这是 Rerun 相对纯可视化工具比如只展示最新帧的 RViz最大的差异。你可以用数据框 API 做惰性查询拿到懒加载的 dataframe用 SQL 直接对录制做过滤、聚合把 catalog 当作训练的数据源dataloader 跑一条查询逐个吐出训练 batch省掉导出和拷贝这两步如果你的需求只是可视化也能把可视化器当 RViz 的替代品调小内存里时间感知缓冲的大小即可支撑长时间运行或受限内存的场景。三种语言 SDK 怎么选、怎么装三套 SDK 共用同一份类型定义生成行为一致选项目所用语言即可。安装方式合并成一张表语言安装命令说明Pythonpip install rerun-sdk唯一自带可视化器的 SDKconda 也有Rustcargo add rerun可视化器需另装rerun-cli见 Python SDK 同款构建流程CCMake 构建rerun_cpp/依赖 Arrow C需 CMake见 C SDK注意 Rust 与 C 的 SDK 不打包可视化器都要额外装一个独立的rerun二进制Python 版pip install rerun-sdk一步到位是上手最快的路径。从源码编译可视化器并把编译提速要改可视化器或 SDK先拉源码git clone https://gitcode.com/GitHub_Trending/re/rerun cd rerun pixi run check-env克隆后check-env会逐项校验依赖版本全部通过说明环境就绪。编译与运行统一走 pixi 任务任务命令产物 / 结果调试版可视化器pixi run reruntarget/debug/rerun发布版pixi run rerun --releasetarget/release/rerunPython SDK 调试版pixi run py-build本地.so绑定Python wheelpixi run py-build-wheels-sdk-onlydist/*.whlC SDKpixi run -e cpp cpp-build-allC 目标C 测试pixi run -e cpp cpp-test跑 C 测试编译偏慢主要来自静态链接加上大量 crate。三个提速配置项写进~/.cargo/config.tomlLinux 用linker clang配-C link-arg-fuse-ld/usr/bin/mold先apt install moldmacOS Intel 用-C link-arg-fuse-ld/usr/local/bin/zldApple Silicon 改用-C split-debuginfounpacked通用则设RUSTC_WRAPPERsccache并调大SCCACHE_CACHE_SIZE让重复编译命中缓存。常见坑窗口打不开、中文字体、依赖现象原因处理可视化窗口打不开显卡不支持 WebGPU设RERUN_ENABLE_SOFTWARE_RASTERIZER1走软件渲染中文字体异常默认字体不含中文Viewer 设置 → Appearance → 改 Font Family 为系统中文字体重启linker cc not found缺基础编译器apt install build-essentialEGL/egl.h找不到缺图形库Linux 装libegl1-mesa-dev libgl1-mesa-devRust 工具链版本由仓库里的rust-toolchain文件锁定先rustup update再按文件指定版本安装对应工具链可避免版本漂移导致的编译报错。Rerun 的价值在于把记录—回放—查询—训练压进同一套列式数据层省掉导出与拷贝这两步。想继续深入顺着 官方文档 的数据写入与查询两节往下读即可。【免费下载链接】rerunVisualize, query, and stream to train on multimodal robotics data.项目地址: https://gitcode.com/GitHub_Trending/re/rerun创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考