实战教程使用 Cosmos-H-Surgical-Simulator 进行 CMR Versius 临床手术模拟【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-SimulatorCosmos-H-Surgical-Simulator 是一款基于运动学动作条件的外科手术世界基础模型专为 CMR Versius 临床手术模拟打造。它能根据手术场景帧和 44 维动作向量序列生成未来的手术场景视频是外科机器人研究者和医疗 AI 开发者的得力工具。 为什么选择 Cosmos-H-Surgical-Simulator✅ 强大的功能特点该模型基于公开的 NVIDIA Cosmos-Predict2.5-2B 构建并在 Open-H 多 embodiment 外科基准上进行了微调。与文本条件的基础模型不同它直接由机器人运动学驱动可生成物理精确的外科机器人视频。✅ 广泛的临床应用涵盖 CMR Surgical Versius 临床手术胆囊切除术、前列腺切除术、腹股沟疝修补术、子宫切除术以及 dVRK、MITIC 和其他外科平台涉及缝合、组织操作和 peg 转移等任务。 快速开始安装与准备 环境要求操作系统Linux未在其他操作系统上测试硬件架构NVIDIA Ampere、Blackwell、Hopper仅测试 BF16 精度运行时引擎Cosmos-Predict2.5、PyTorch、Transformer Engine 安装步骤克隆仓库git clone https://gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator 模型使用指南 输入参数说明输入类型图像相机帧、十二个 44 维数值向量序列输入格式红、绿、蓝RGB帧数值向量推荐分辨率模型以 512x288 分辨率运行建议 16:9 宽高比预处理Versius 运动学动作是混合相对动作定义参见此处 输出结果解析输出类型12 个视频帧序列输出格式mp4默认生成十二个视频帧代表结合输入运动学动作的下一个世界状态。通过自回归循环可以生成完整的手术轨迹视频序列。 模型性能评估 总体指标CheckpointFDS (L1) ↓GATC ↑TCD (px) ↓Previous (16k, pre-fix)0.2230.41783.68Current (12k-v2, post-fix)0.1840.47267.03Relative change−17%13%−20%指标说明FDS (L1)帧衰减分数 - 生成帧与真实帧之间的平均 L1 距离归一化到 [-1, 1]在所有生成帧上平均越低越好GATC真实锚定工具一致性 - SAM3 分割工具区域内生成帧与真实帧之间的灰度像素中值零均值归一化互相关ZNCC由基于梯度的工具存在惩罚加权越高越好TCD工具质心距离 - 生成帧与真实帧中匈牙利匹配工具实例质心之间的每帧平均欧几里得距离以像素为单位对未匹配工具采用半对角线惩罚越低越好 各手术流程指标当前检查点ProcedureFDS (L1) ↓GATC ↑TCD (px) ↓Prostatectomy0.2200.451122.0Inguinal Hernia0.1990.429143.2Hysterectomy0.1210.73712.7Cholecystectomy0.1980.34428.8⚠️ 伦理考量NVIDIA 认为可信 AI 是一项共同责任我们已制定政策和实践以支持广泛的 AI 应用开发。下载或按照我们的服务条款使用时开发人员应与其内部模型团队合作确保此模型满足相关行业和用例的要求并解决意外的产品滥用问题。请确保您对所有输入图像和视频内容拥有适当的权利和权限如果图像或视频包含人员、个人健康信息或知识产权生成的图像或视频不会模糊或保持所包含图像主体的比例。有关此模型伦理考虑的更多详细信息请参阅下面的模型卡片中的偏见、可解释性、安全与安保以及隐私子卡BIAS.md、EXPLAINABILITY.md、SAFETY_and_SECURITY.md、PRIVACY.md。如发现模型质量、风险、安全漏洞或 NVIDIA AI 问题请在此处报告。【免费下载链接】Cosmos-H-Surgical-Simulator项目地址: https://ai.gitcode.com/hf_mirrors/nvidia/Cosmos-H-Surgical-Simulator创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考
