Rerun VideoTimestamp 组件详解视频帧时间戳的纳秒编码、PTS 语义与实战应用【免费下载链接】rerunVisualize, query, and stream to train on multimodal robotics data.项目地址: https://gitcode.com/GitHub_Trending/re/rerunVideoTimestamp是 Rerun 数据模型中用于描述视频内部某一帧时间点的核心组件它表示AssetVideo中的一个时间戳Timestamp inside anAssetVideo。在 Rerun 的多模态机器人数据可视化链路中该组件是与视频帧引用VideoFrameReference配套的关键数据决定了一帧画面在时间轴上落位的确切时刻。读完本文你将掌握 VideoTimestamp 的数据模型、纳秒编码规则、与 PTS演示时间戳的关系以及从 MP4 读取帧时间戳到 Viewer 中展示的完整调用链。组件定位指向视频内部的时间指针在 组件参考文档 中VideoTimestamp 被明确定义为Timestamp inside aarchetypes.AssetVideoAssetVideo内部的时间戳。它本身不携带任何视频内容只负责回答一个问题当前引用的画面位于视频时间轴的哪个位置。它由VideoFrameReferencearchetype 使用——后者是 Rerun 中引用单个视频帧的载体VideoFrameReference的必需字段timestamp正是VideoTimestamp类型其可选字段video_reference实体路径、opacity不透明度与draw_order2D 绘制顺序共同决定该帧如何被绘制。从类型定义文件 video_frame_reference.def.rs 可以看到该 archetype 的完整字段设计其中timestamp被标记为#[rerun(required)]即引用一帧画面时时间戳不可缺省。编码语义以纳秒为单位、相对视频起始的时间VideoTimestamp 的底层编码定义在 encodings/video_timestamp.def.rs语义如下Presentation timestamp within an AssetVideo视频内部的演示时间戳Specified in nanoseconds单位是纳秒i64整数Presentation timestamps are typically measured as time since video start通常以视频开始后的经过时间来度量即 0 永远对应第一帧编码实现注释特别强调Keeping this to nanoseconds makes the timestamp more consistent to our other timestamp values!——采用纳秒是为了与 Rerun 其余时间戳值保持一致的度量粒度。对应 编码参考文档 中的描述该编码的 Arrow 数据类型为Int64即一个 64 位有符号整数纳秒数。这一编码通过#[arrow(transparent)]透明映射到 Arrow 的Int64数组保证跨语言Rust/Python/C与跨进程SDK → Viewer/服务器传输时的无损与高效。组件与编码的分层结构VideoTimestamp 在 Rerun 类型体系中分为两层这与 Rerun 组件component包装编码encoding 的通用设计一致层级定义说明encoding编码encodings::VideoTimestamp核心值类型包装i64纳秒值负责数据语义与单位component组件components::VideoTimestamp外层组件#[repr(transparent)]透明包装 encoding注册为rerun.components.VideoTimestamp组件类型从生成代码 video_timestamp.rs 可见组件类型名注册为rerun.components.VideoTimestampWrapperComponent的Encoding关联类型指向crate::encodings::VideoTimestamp组件通过Deref/DerefMut透明访问内部 encodingFromT: Intoencodings::VideoTimestamp提供了从底层值的便捷转换。而 video_timestamp.def.rs 标注了该组件的稳定性为stable#[rerun(state stable)]并声明 Rust 侧Copy, PartialEq, Eq, Default与透明 repr确保其在查询与比较场景中的轻量高效。便捷构造与换算 API为了在不同精度的时间源之间灵活切换Rerun 在扩展实现中提供了多组构造/读取方法。以 Rust SDK 为例encoding 层encodings/video_timestamp_ext.rsfrom_nanos(nanos: i64) - Self直接以纳秒构造as_nanos(self) - i64取回纳秒值as_secs(self) - f64换算为秒self.0 as f64 / 1e9。component 层components/video_timestamp_ext.rsfrom_secs(seconds: f64) - Self由秒构造内部(seconds * 1e9).round() as i64from_millis(milliseconds: f64) - Self由毫秒构造内部(milliseconds * 1e6).round() as i64from_nanos(nanos: i64) - Self由纳秒构造。其中round()用于将浮点秒/毫秒安全四舍五入为整数纳秒避免浮点误差导致的时间偏移。这三组构造函数覆盖了实际数据源中最常见的三种时间精度秒级、毫秒级、纳秒级例如机器人传感器时间戳通常以纳秒计而视频容器中的 PTS 常以毫秒或更粗粒度表示。Python 侧则通过#[python(aliases int)]与#[python(array_aliases npt.NDArray[np.int64])]标注见 video_timestamp.def.rs允许直接传入 Pythonint或numpy.int64数组批量构造。时间语义细节最近帧匹配与 B 帧偏移VideoTimestamp 的语义并非简单的 查询时间取最新一帧在 video_frame_reference.def.rs 的字段注释中有两条关键约束最近帧匹配closest video frameVideoFrameReference的timestamp字段references the closest video frame to this timestamp——匹配的是最接近该时间戳的视频帧而非不晚于该时间戳的最新帧。这样设计是为了对不精确时间戳类型的舍入误差更宽容more forgiving of rounding errors for imprecise timestamp types例如当外部时间源精度不足时避免因微小误差导致画面跳帧。B 帧导致的首帧偏移时间戳相对于视频起始点即 0 总是对应第一帧这oftentimes equivalent to presentation timestamps (PTS)但在存在 B 帧双向预测帧的视频中视频的第一个 PTS 可能存在偏移there may be an offset on the first presentation timestamp in the video。也就是说Rerun 的时间轴 0 以视频第一帧为锚点而容器里的原始 PTS 0 不一定对应第一帧两者需要区分对待。实战链路从 MP4 读取帧时间戳到生成 VideoTimestamp在仓库中最典型的 VideoTimestamp 生产路径位于 MP4 读取器 asset.rs通过read_frame_timestamps_nanos()一次性读取出视频所有帧的 PTS单位纳秒Veci64随后将每个纳秒值经VideoTimestamp::from_nanos转换为组件实例并打包为VideoFrameReference::descriptor_timestamp()对应的组件批次ComponentBatch再连同TimeColumn以帧 PTS 为时间列一起写入 chunk供 Viewer 按时间线查询。在底层流处理 stream.rs 中帧采样时间正是通过presentation_timestamp.into_nanos(timescale)从容器时间刻度timescale换算为纳秒印证了 VideoTimestamp 统一纳秒单位的实际落点。这条链路说明任何外部视频格式只需在读取阶段把帧时刻换算成纳秒并构造VideoTimestamp即可无缝接入 Rerun 的视频时间轴。Viewer 中的编辑与展示在 Viewer 端video_timestamp.rs 提供了该组件的 UI 交互实现可编辑状态下使用egui::DragValue以秒为单位步进编辑speed(0.01)即最小步长 0.01 秒范围限制在0.0..f32::MAX并将秒值经VideoTimestamp::from_secs回写只读状态下以format_relative_timestamp_secs格式化显示无论哪种状态悬停提示hover text始终以纳秒精确显示format!({}ns, ...)保证 UI 编辑的直观性与底层精度的一致性。这意味着用户既可以用秒/毫秒的人类可读尺度调整视频帧引用又能在底层保持纳秒级的精确时间。使用小结VideoTimestamp 贯穿 Rerun 视频功能的数据写入—存储查询—界面展示全链路核心要点可归纳为一个组件、一个编码components::VideoTimestamp透明包装encodings::VideoTimestamp最终落为 ArrowInt64一个统一单位纳秒ns且以视频第一帧为 0 锚点与容器原始 PTS 可能存在 B 帧偏移差异一套换算 APIfrom_secs/from_millis/from_nanos与as_secs/as_nanos覆盖常见时间精度一种匹配语义VideoFrameReference使用最近帧而非最新帧匹配容忍舍入误差一条生产路径MP4 等读取器将容器时间刻度换算为纳秒构造 VideoTimestamp 后随 chunk 写入Viewer 按时间线查询并以秒级 UI 编辑、纳秒级悬停展示。如需深入可继续阅读 video_frame_reference 组件文档、VideoFrameReference archetype 文档 及 视频帧引用测试用例 了解端到端行为。【免费下载链接】rerunVisualize, query, and stream to train on multimodal robotics data.项目地址: https://gitcode.com/GitHub_Trending/re/rerun创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考