「不“拼积木”改“做雕刻”」目录01 两类传统部件生成路线的固有短板02 减法组合先整体再逐步剥离部件联合分裂预测器分解流Transformer03 实验结果定量指标 PartObjaverse数据集定性对比消融实验验证三大关键设计04 写在最后3D模型生成已经能产出细节、质感俱佳的完整资产但绝大多数输出的是一整块不可拆分网格。游戏动画要绑骨骼、3D打印要分材质、数字内容要部件复用编辑——都需要模型拆成独立语义部件。但现有的两条部件生成路线都卡在保全局外形和保部件完整之间二选一。上海交大与华为联合推出SCULPT提出减法组合Subtractive Composition新思路借鉴现实石雕雕刻逻辑先生成完整物体再迭代地从整体中剥离部件每一步同时预测被剥离部件和剩余物体两者联合降噪生成而不是生成完再强行拼合。该方案部件数量自适应物体本身复杂度不需要预设部件数量在PartObjaverse基准测试上部件、语义分组、物体三层维度的倒角距离全部刷新最优部件拼接还原完整模型时不会损失外形质量同时还支持真实照片输入输出带纹理的拆分3D部件资产。01 两类传统部件生成路线的固有短板要理解SCULPT的创新要先看清现有方案的底层缺陷这也是论文整套设计的出发点。分割后处理路线代表PartField、SAMPart3D先生成完整3D网格之后依靠分割网络给网格打上部件标签。优势是完整物体几何不会被破坏致命问题在于分割仅仅对现有表面做划分。当我们把部件拆分开部件互相贴合的接触面本身不存在分割算法不会去生成这部分隐藏的几何与材质。相当于只切蛋糕不会补蛋糕切口处的奶油拆分之后每个部件内侧是空洞很难直接用于动画、3D打印。图| SAMPart3D整体框架加法部件生成路线代表Part123、OmniPart按照包围盒或者token序列逐个产出独立部件再把所有部件拼在一起。优点是每个部件是完整独立网格痛点在于各个部件独立生成部件交界位置缺少约束很容易出现缝隙、网格互相穿透、材质纹理对不上。同时大多方案需要预先设置最大部件数量物体简单时会产出多余空部件复杂物体又会部件数量不够部件数量很难自适应目标物体。图| OmniPart整体框架还有一部分自回归部件生成工作虽然逐个输出部件但条件只参考完整物体和已经生成部件不存在显式的“剩余物体”状态没有约束还没有被生成的部分容易出现部件重复、几何丢失。两类方案共同的矛盾点要么保全局外形牺牲部件交界质量要么保单个部件完整牺牲组装之后整体一致性。SCULPT的减法组合就是尝试同时解决这一组矛盾。02 减法组合先整体再逐步剥离部件SCULPT复用TRELLIS.2预训练结构化3D隐式表示作为底座这套隐变量把3D资产拆分为稀疏结构、几何、材质三级所有完整物体、部件、剩余物体全部复用同一套坐标体系不需要做完缩放、对齐配准。图| 分解推演过程部件‑剩余物体序列转换迭代剥离部件直至剩余物体为空整套推理流程逻辑非常贴近雕刻1. 输入一张条件图片用TRELLIS.2得到完整物体的隐变量【初始整块石材】2. 送入联合分裂预测器输入当前剩余物体隐变量和条件图像同时输出本次剥离出来的部件以及剥离之后剩下物体隐变量3. 将剥离出来部件保存把剩余物体回传给预测器进入下一轮分裂4. 循环直到剩余物体的稀疏支持域为空或者到达最大迭代上限如果达到上限物体还没有拆完会把剩下未拆分部分也作为一个部件输出5. 将全部保存下来部件分别解码直接在原始坐标系合并就可以还原完整物体无需后处理焊接网格。核心思想每一步部件和剩余物体是联合降噪一起生成而不是生成完再做切割或者拼接。预测器在部件剩余物体两者稀疏支持域的并集上运算允许部件交界体素可以两边同时存在不再强制体素非此即彼的硬分割形成一个接口壳interface shell专门处理部件贴合的接触面几何从生成阶段就维护交界位置的一致性。图| SCULPT生成完整3D对象以及连贯部件结构示意图联合分裂预测器分解流Transformer预测器分为三级对应稀疏结构、几何、材质三个阶段依次运行。架构分为两条分支一条联合降噪分支负责同时预测部件剩余物体另一条剩余物体控制分支以ControlNet的方式把当前剩余物体3D特征注入Transformer块。联合分支初始化来自预训练TRELLIS.2权重控制分支残差投影初始化为零再整套微调。图| SCULPT框架总览图训练目标包含两部分流匹配损失对打包后的部件剩余物体配对做整流流匹配完成联合降噪训练组合损失专门约束部件与剩余物体两者合并之后要覆盖输入剩余物体的空间范围防止拆分后出现几何凭空丢失。推理阶段会做支持域裁剪强制新生成部件、剩余物体的空间范围不能超过输入剩余物体保证每一步不会向外扩张出多余几何。训练数据方面基于PartVerse‑XL数据集构建训练样本。对于每一个带部件标注的完整模型按照部件中心坐标得到一套确定的部件剥离顺序每一次剥离就构造一组训练对输入剩余物体输出剥离部件新剩余物体。这套构造天然就提供终止样本当全部部件剥离完毕目标剩余物体是空教会模型判断什么时候拆分结束。03 实验结果定量指标 PartObjaverse数据集表| 匹配单图像输入条件下在 PartObjaverse 数据集上的几何对比在PartObjaverse基准上SCULPT实现部件、语义分组、物体三层最低倒角距离CD精细几何F10.05同样全部最优对比加法生成代表OmniPart部件层级CD从0.0136降至0.0107组装后物体CD从0.0032降至0.0020。对比后处理分割基线TRELLIS.2PartField部件CD下降7.0%语义分组CD下降8.5%组装物体CD下降4.8%。需要客观看待一个指标细节在宽松阈值F10.1上TRELLIS.2PartField在部件层0.8897 vs 0.8858和语义分组层0.8903 vs 0.8851略高于SCULPT——后处理分割直接拿原始生成网格打标签天然在宽松阈值占优但在衡量精细几何的F10.05上SCULPT全面反超物体层更是F10.1和F10.05双项最优0.9839/0.9212。说明分割方案适合大体轮廓部件拆分后精细接触面几何质量不如SCULPT的联合生成模式。定性对比图| 定性对比结果红色方框为部件重新组装得到完整物体定性测试覆盖数据集图片、文生图输出图片、真实拍摄照片输入。可以看到SCULPT拆分出来每一个部件自带完整纹理材质重新组装之后轮廓、外观高度贴合输入图片。而加法生成方案组装后容易出现外形偏移分割类方案部件缺少内侧接触面。同时它支持递归拆分把已经剥离出来部件再次送入分裂预测器把部件进一步拆分成更细小组件可以把复杂武器模型拆解超过100个细粒度零件。消融实验验证三大关键设计表| 部件层级消融实验必须完整适配三级隐变量Voxel only仅仅训练稀疏结构阶段几何材质沿用原始预训练权重性能暴跌。说明拆分逻辑不能只处理体素占位几何、材质阶段都要适配部件‑剩余物体联合生成。组合损失L_{comp}不可或缺去掉该损失部件剩余物体合并不能保证覆盖原始物体会丢失几何CD大幅上涨。推理阶段支持域裁剪Clip关闭裁剪生成的部件、剩余物体可以向外扩张超出原始物体边界引入大量错误几何。消融清晰证明完整三级适配、组合损失、推理裁剪三者共同构成这套减法生成的核心。04 写在最后SCULPT跳出“加法拼积木”或者“切现成网格”两套范式借鉴雕塑雕刻把部件感知3D生成定义为减法组合保存显式剩余物体状态每一步联合生成剥离部件和剩下物体在生成阶段就处理部件之间交界而不是生成结束之后补救。它证明先做高质量完整物体再迭代雕刻剥离部件是兼顾部件质量与组装后全局外形的可行路线。未来方向包括可控拆分粒度、进一步加速迭代推理、拓展文本条件输入以及把这套减法思想迁移到其他3D表征。Ref论文标题SCULPT: SUBTRACTIVE COMPOSITION FOR 3D PART GENERATION论文链接https://arxiv.org/pdf/2608.13541项目主页https://sculpt‑part.github.io/