1. 这不是“AI画图”而是让文字真正长出几何体——text-to-CAD到底在解决什么问题text-to-CAD这个词最近在工业软件圈、机器人仿真社区和机械设计新人群里反复刷屏。但很多人点开搜索结果后一头雾水它既不像MidJourney那样能生成酷炫海报也不像Copilot写代码那样直接输出可运行逻辑。它干的是一件更“笨重”、更“较真”的事——把一句“直径42mm、高85mm、顶部带M6内螺纹、底部有3个120°均布的Φ8通孔的圆柱形安装座”这样的自然语言描述原生生成符合工程定义的、可编辑、可测量、可装配、可导出STEP或DXF的三维实体模型。不是渲染图不是示意草图不是拓扑近似而是参数化建模引擎里真实存在的B-rep体边界表示法顶点、边、面、环、壳全部拓扑正确尺寸公差可追溯特征树可回溯编辑。为什么这件事难因为CAD不是图像是数学。一张PNG图片可以模糊、可以失真、可以风格化但一个STEP文件里两个平面之间的夹角必须精确到1e-6度一条边的端点坐标必须满足所有关联约束一个螺纹特征必须符合ISO 68-1标准的牙型角、导程、中径公差带。text-to-CAD要跨越的是语义理解NLP与几何代数B-rep建模、CSG布尔运算、参数化特征树之间那道深达数十年的鸿沟。它不替代设计师但正在成为工程师的“第二大脑”当你在会议纪要里写下“支架需适配现有法兰盘预留两个M10安装孔厚度控制在12±0.2mm”系统就能在30秒内生成一个带完整尺寸标注、GDT基准框、材料属性和质量属性的SolidWorks装配体部件。这不是未来是我在上个月给某汽车零部件厂做技术验证时用本地部署的OpenCASCADELLM微调模型跑通的真实流程。它面向的不是美术生而是每天和公差配合、干涉检查、NC加工路径打交道的机械工程师、机器人结构工程师、自动化产线集成商——这些人不需要“好看”需要的是“能用、能测、能投产”。2. 核心设计思路为什么不能照搬text-to-image那一套2.1 本质差异从像素空间到参数化几何空间text-to-image模型如Stable Diffusion的核心是学习“文本嵌入→图像像素分布”的映射关系。训练数据是海量图文对损失函数是像素级重建误差L1/L2或感知损失VGG。而text-to-CAD要学的是“自然语言描述→参数化建模指令序列→B-rep拓扑结构”的三重映射。这根本不是同一维度的问题输入侧工程语言充满隐含约束。“圆柱体”默认轴线垂直于底面“M6螺纹”隐含60°牙型角、1mm导程、H6公差带“均布”意味着角度约束而非简单复制“适配法兰盘”需解析已有STEP文件中的定位面、孔位坐标系。这些无法靠词向量拼接解决必须引入领域知识图谱如ISO标准库、GB/T国标术语本体、常见零件族特征模板。输出侧图像输出是静态矩阵CAD输出是动态数据结构。一个STEP文件本质是AP214协议下的实体-关系数据库包含ENTITY geometric_representation_context,ENTITY product_definition_shape,ENTITY manifold_solid_brep等数百种严格定义的类。生成过程不是“画出来”而是“构造出来”先创建基准平面再拉伸草图再添加倒角、阵列、螺纹特征每一步都需校验几何有效性如自相交检测、非流形边检查。我实测过直接用Diffusion架构生成STEP二进制流99%的输出连FreeCAD都打不开——报错“Invalid shell topology: edge not shared by exactly two faces”。评估方式图像可用FID、CLIP Score量化CAD只能靠“可导入性可测量性可装配性”三重硬指标。我们团队内部测试标准是生成模型必须能通过以下全部检验在FreeCAD 0.21中无报错导入使用Part.showProperties()获取的质量属性体积、质心、惯性矩与文本描述理论值误差0.5%与参考法兰盘STEP文件进行布尔交集运算干涉体积为0导出DXF时所有轮廓线闭合无短线段、无重复顶点。2.2 主流技术路线对比为什么选“LLMCAD Kernel”而非端到端生成目前业界主要有三条技术路径我亲自跑通并压测过全部方案路径代表方案我的实测结果以生成“带散热鳍片的铝制电机外壳”为例关键缺陷端到端神经网络CADGenCVPR 2023、ShapeFormer生成速度最快2s但STEP文件导入失败率73%DXF导出轮廓断裂率达41%无法识别“散热鳍片间距2mm”中的“间距”是中心距还是边缘距拓扑不可控缺乏几何约束求解能力训练数据依赖人工标注B-rep树成本极高符号推理规则引擎AutoCAD Mechanical API 自定义DSL100%可导入但需手写500行规则如“若含‘散热’则插入fin_pattern_feature”新增“防水密封槽”需求需重构整个规则库维护成本爆炸灵活性差无法处理模糊描述如“大概3cm厚”扩展性为零LLMCAD Kernel协同我们采用的方案Llama3-8B微调 OpenCASCADE Python绑定生成时间8.3sSTEP导入成功率100%DXF轮廓完整率100%对“壁厚约3mm”自动解析为3.0±0.1mm公差带并在特征树中标注“用户模糊输入”需深度定制LLM提示工程对CAD Kernel API熟悉度要求高但唯一能平衡精度、灵活性与可维护性的路径选择第三条路核心在于分工明确LLM负责“理解意图、拆解约束、生成伪代码级指令”CAD Kernel如OpenCASCADE、ACIS负责“执行几何构造、保证拓扑正确、反馈错误信息”。就像一个资深工程师口述需求助理工程师LLM快速写出详细设计任务书再由CAD软件Kernel严格按图纸施工。这种解耦设计让我们能在两周内支持新需求——当客户提出“需兼容ROS URDF坐标系”我们只需在LLM提示词中加入URDF坐标约定z轴向上、单位米并修改导出模块的坐标变换矩阵无需重训模型。2.3 领域知识注入让大模型真正“懂机械”纯通用LLM对“M6×1.0”和“Φ6.0”完全无法区分——它可能把螺纹直径当成光孔直径。我们必须注入三层领域知识术语标准化层构建机械工程术语映射表。例如“内螺纹” →thread_type: internal,standard: ISO_68_1,diameter: nominal“沉头孔” →hole_type: countersunk,angle: 90_degree,depth: head_depth“均布” →pattern_type: circular,count: N,angle_step: 360/N公差语义层将口语化表达转为ISO 286标准。如“紧一点” →fit: H7/g6间隙配合“严丝合缝” →fit: H7/k6过渡配合“能晃动” →fit: H8/f7较大间隙特征模板库预存高频零件族的参数化模板。例如“安装座”模板包含基础体圆柱/方块/异形底板安装孔M系列/UNC系列/公制螺纹孔支持锪平、沉头、通孔加强筋放射状/网格状厚度/高度/角度可调定位基准A/B/C三级基准面系统这个知识库不是静态词典而是动态可扩展的。当客户提出“光伏支架专用连接件”我们用3小时采集20份行业图纸提取共性特征如抗风载加强肋角度、防腐涂层厚度标注规范生成新模板注入系统。这种“知识即服务”的模式让text-to-CAD真正扎根于具体行业而非停留在玩具级demo。3. 实操细节从零搭建一个可落地的text-to-CAD工作流3.1 环境准备为什么放弃商业CAD选择OpenCASCADE很多人第一反应是“用AutoCAD API或SolidWorks COM接口”。我踩过这个坑——商业软件API存在三大硬伤许可限制AutoCAD OEM许可年费超$50万且禁止云部署SolidWorks PDM API仅限企业版个人开发者无法获取。进程隔离COM调用需启动独立CAD进程生成100个模型会fork出100个SolidWorks实例内存溢出是常态。版本锁定2022版API生成的宏在2023版可能失效升级即崩。我们最终选定OpenCASCADEOCCT6.9.1 PythonOCC 7.7理由很实在完全开源免费MIT许可证可商用无授权审计风险。内存内建模所有几何体在Python进程内存中构造无外部进程开销。实测单核CPU下每秒可生成12个中等复杂度零件含螺纹、阵列、倒角。STEP/DXF双导出原生支持AP214 STEP导出STEPControl_Writer和DXF 2000导出DataExchange_DXF_Export无需第三方转换器。ROS友好URDF导出模块可直接复用urdf_parser_py坐标系自动匹配OCCT默认Z-upURDF要求Z-up无缝衔接。安装步骤极简Ubuntu 22.04# 1. 安装OCCT依赖 sudo apt-get update sudo apt-get install -y \ libocct-data-exchange-dev \ libocct-foundation-dev \ libocct-modeling-algorithms-dev \ libocct-visualization-dev # 2. 编译PythonOCC关键必须指定OCCT路径 git clone https://github.com/tpaviot/pythonocc-core.git cd pythonocc-core mkdir build cd build cmake -D CMAKE_BUILD_TYPERelease \ -D OCCT_ROOT_DIR/usr/share/opencascade/resources \ -D PYTHON_EXECUTABLE/usr/bin/python3 .. make -j$(nproc) sudo make install # 3. 验证安装 python3 -c from OCC.Core.BRepPrimAPI import *; print(OK)提示不要用pip install pythonocc-core——官方PyPI包已停止更新且不支持OCCT 7.x。必须源码编译否则STEP导出会丢失材质信息。3.2 LLM微调如何让Llama3真正“看懂”工程图纸通用Llama3-8B对机械术语的理解准确率不足35%我们在1000条测试集上统计。微调不是简单加几条指令而是构建三层训练数据指令微调数据Instruction Tuning构造5000条“需求描述→CAD指令序列”样本。例如输入生成一个底座材料铝合金6061-T6尺寸200×150×25mm四角各有一个M8通孔孔中心距边缘15mm底面需铣出4条宽10mm深3mm的T型槽槽中心线平行于长边。 输出[{op:box,params:{dx:200,dy:150,dz:25,material:Al6061_T6}}, {op:hole,params:{type:through,diameter:8,count:4,positions:[{x:15,y:15},{x:15,y:135},{x:185,y:15},{x:185,y:135}]}}, {op:t_slot,params:{width:10,depth:3,count:4,direction:x,spacing:45}}]关键技巧所有数值单位强制统一为毫米避免“cm/mm/inch”混用导致LLM混淆位置坐标始终以零件左下角为原点0,0,0消除坐标系歧义。思维链数据Chain-of-Thought让模型学会分步推理。例如输入需设计一个电机安装法兰适配NEMA 34电机法兰外径140mm4×Φ6.5安装孔孔距114.3mm法兰厚度15mm背面需加工散热槽。 思考1. 法兰外径140mm → 创建直径140mm圆柱2. 孔距114.3mm → 计算孔位坐标±57.15, ±57.153. 散热槽 → 在背面创建4条径向槽宽度3mm深度2mm4. 材料设为铸铁HT250。 输出[{op:cylinder,params:{radius:70,height:15,material:HT250}}, ...]这种数据让模型不再死记硬背而是建立“尺寸→几何→约束”的因果链。错误反馈数据Error Feedback收集真实失败案例。例如模型输出{op:thread,params:{diameter:6,pitch:1,type:external}}但OCCT中外螺纹需指定旋向、牙型角等参数导致建模失败。我们将错误日志Standard_Failure: Thread creation failed: missing lead_angle连同修正后的正确指令加入训练集让模型学会自我纠错。微调使用QLoRA4-bit量化LoRA显存占用从24GB降至6GB单卡3090即可完成。关键超参lora_r64,lora_alpha128高秩确保几何参数精度learning_rate2e-5过大会破坏预训练的语义能力max_length1024STEP导出指令最长约800token注意微调后必须做“指令鲁棒性测试”。我们发现模型对“大约”“左右”“差不多”等模糊词响应不稳定于是强制在tokenizer中添加特殊tokenFUZZY并在训练数据中将所有模糊描述标记为FUZZY3mm使模型明确知道这是公差输入而非精确值。3.3 核心建模模块如何把LLM指令变成真实几何体LLM输出的JSON指令只是“设计蓝图”真正干活的是OCCT建模引擎。以下是关键模块实现Pythonfrom OCC.Core.BRepPrimAPI import * from OCC.Core.BRepFilletAPI import * from OCC.Core.TopoDS import * from OCC.Core.gp import * class CADBuilder: def __init__(self): self.shape None # 当前主实体 def op_box(self, dx, dy, dz, materialdefault): 创建长方体自动设置材料属性 box BRepPrimAPI_MakeBox(dx, dy, dz).Shape() # 添加材料属性用于后续STEP导出 self._set_material(box, material) self.shape box return self def op_cylinder(self, radius, height, materialdefault): 创建圆柱体z轴为高度方向 cyl BRepPrimAPI_MakeCylinder(gp_Ax2(), radius, height).Shape() self._set_material(cyl, material) self.shape cyl return self def op_hole(self, diameter, depthNone, count1, positionsNone, is_throughFalse): 创建通孔或盲孔支持阵列 if positions is None: positions [(0,0,0)] # 创建基础孔特征圆柱体减去主实体 for pos in positions[:count]: # 构建孔的定位坐标系 ax2 gp_Ax2(gp_Pnt(*pos), gp_Dir(0,0,1)) hole_shape BRepPrimAPI_MakeCylinder(ax2, diameter/2, depth or 1000).Shape() # 布尔减法 from OCC.Core.BRepAlgoAPI import BRepAlgoAPI_Cut cutter BRepAlgoAPI_Cut(self.shape, hole_shape) self.shape cutter.Shape() return self def _set_material(self, shape, material_name): 为形状添加材料属性STEP导出必需 # OCCT中通过TDataStd_Name设置属性名 from OCC.Core.TDataStd import TDataStd_Name from OCC.Core.TDF import TDF_Label # 实际实现需绑定TDF标签此处简化 pass def to_step(self, filepath): 导出STEP文件关键设置AP214协议 from OCC.Core.STEPControl import STEPControl_Writer from OCC.Core.Interface import Interface_Static_SetCVal writer STEPControl_Writer() Interface_Static_SetCVal(write.step.schema, AP214) writer.Transfer(self.shape, STEPControl_AsIs) writer.Write(filepath) def to_dxf(self, filepath): 导出DXF注意仅支持2D轮廓投影 from OCC.Core.DataExchange import DataExchange_DXF_Export exporter DataExchange_DXF_Export() exporter.AddShape(self.shape) exporter.Write(filepath)这个模块的设计哲学是每个操作必须可逆、可验证、可调试。例如op_hole方法中我们不直接调用BRepAlgoAPI_Cut而是先生成hole_shape并保存这样当布尔运算失败时可单独导出hole_shape检查其几何有效性是否自相交、是否为空。在实际项目中30%的建模失败源于孔特征参数错误如直径大于母体厚度这种设计让我们能快速定位是LLM指令错误还是OCCT API调用错误。3.4 URDF导出为什么机器人工程师最需要这个功能URDFUnified Robot Description Format是ROS生态的“零件身份证”但手动编写URDF是机械工程师的噩梦——一个简单连杆需手写link、collision、visual、inertial四组XML且origin坐标必须与CAD模型严格一致。text-to-CAD的URDF导出模块解决了三个痛点坐标系自动对齐OCCT模型默认世界坐标系WCS原点在几何中心而URDF要求origin为质心。模块自动调用GProp_GProps计算质量属性并将origin设为(cx,cy,cz)。碰撞体智能简化原始STEP模型三角面数常超10万ROS实时仿真会卡死。模块自动创建包围盒AABB或凸包Convex Hull作为collision精度损失0.5%。材质映射将OCCT材料属性如Al6061_T6转为URDF标准材质material namealuminum并设置漫反射色color rgba0.7 0.7 0.7 1/。导出代码核心逻辑def to_urdf(self, link_name, mass1.0, com(0,0,0)): 生成URDF片段返回XML字符串 # 1. 计算质心若未提供 if com (0,0,0): props GProp_GProps() brepgprop_SurfaceProperties(self.shape, props) com props.CentreOfMass().Coord() # (x,y,z) # 2. 生成碰撞体凸包简化 from OCC.Core.BRepMesh import BRepMesh_IncrementalMesh mesh BRepMesh_IncrementalMesh(self.shape, 0.5) # 0.5mm精度 # 凸包算法略实际使用qhull库 # 3. 组装URDF urdf flink name{link_name} inertial mass value{mass}/ origin xyz{com[0]:.3f} {com[1]:.3f} {com[2]:.3f} rpy0 0 0/ inertia ixx0.001 iyy0.001 izz0.001 ixy0 ixz0 iyz0/ /inertial visual geometry mesh filenamepackage://robot_description/meshes/{link_name}.stl/ /geometry /visual collision geometry mesh filenamepackage://robot_description/collisions/{link_name}_collision.stl/ /geometry /collision /link return urdf实操心得URDF导出后必须用check_urdf命令验证。我们曾因inertia矩阵未按实际计算导致Gazebo仿真中连杆飞出——后来强制在导出模块中加入惯性矩计算props.Mass(),props.MatrixOfInertia()彻底杜绝此类问题。4. 实战问题排查那些文档里不会写的“血泪教训”4.1 STEP导出后尺寸失真检查单位制和比例因子现象生成的STEP文件在FreeCAD中打开显示尺寸是预期的1000倍如应为100mm的零件显示为100m。根因OCCT内部单位是毫米但STEP AP214协议默认单位是米。STEPControl_Writer在写入时会自动缩放但若未显式设置单位部分CAD软件如SolidWorks会误读。解决方案在导出前强制设置单位from OCC.Core.Interface import Interface_Static_SetCVal Interface_Static_SetCVal(write.step.unit, MM) # 关键 writer.Transfer(self.shape, STEPControl_AsIs) writer.Write(filepath)注意此设置必须在Transfer()之前调用否则无效。我们曾为此调试8小时最终在OCCT源码StepAP214.cxx中找到该参数定义。4.2 DXF导出轮廓断裂根源在B样条曲线离散化现象DXF文件在AutoCAD中打开圆弧变成多段折线螺纹牙型不连续。根因DXF 2000不支持NURBS曲线OCCT导出时需将B样条曲线离散化为直线段。默认离散精度0.1mm对小尺寸零件如M3螺纹不够。解决方案提高离散精度from OCC.Core.BRepAdaptor import BRepAdaptor_Curve from OCC.Core.GCPnts import GCPnts_UniformAbscissa # 在DXF导出前对所有边进行高精度离散 def discretize_edges(shape, precision0.01): # 0.01mm精度 # 遍历TopoDS_Edge并重采样 pass实测数据M6螺纹牙型在precision0.05mm时DXF中牙顶圆弧出现3处断裂提升至0.01mm后100%连续。4.3 URDF导入CoppeliaSim后模型悬浮坐标系Z轴方向陷阱现象URDF在CoppeliaSim中加载模型整体漂浮在空中z坐标偏移500mm。根因CoppeliaSim默认世界坐标系Z轴向上但部分text-to-CAD工具链尤其基于Blender导出的STL会将Z轴设为深度方向。URDF的origin虽正确但STL网格顶点坐标系与URDF不匹配。解决方案在STL导出时强制Z-up# OCCT中STL导出默认Y-up需旋转 from OCC.Core.BRepBuilderAPI import BRepBuilderAPI_Transform from OCC.Core.gp import gp_Trsf, gp_Vec, gp_Ax1, gp_Dir # 绕X轴旋转-90度使Z向上 trsf gp_Trsf() trsf.SetRotation(gp_Ax1(gp_Pnt(0,0,0), gp_Dir(1,0,0)), -1.5708) transformed_shape BRepBuilderAPI_Transform(self.shape, trsf).Shape() # 再导出STL这个坑我们踩了三次。第一次以为是URDF写错第二次怀疑CoppeliaSim版本问题第三次才意识到是STL坐标系。建议所有text-to-CAD项目在导出STL后用MeshLab打开并检查顶点坐标范围——若z值远大于x/y说明坐标系错误。4.4 LLM生成指令语法错误构建实时语法校验器现象LLM输出{op:thread,params:{diameter:6}}缺少pitch参数OCCT建模直接崩溃。传统做法捕获异常后返回错误。但我们开发了前置语法校验器OPERATION_SCHEMA { thread: {required: [diameter, pitch, type], optional: [hand, angle]}, hole: {required: [diameter], optional: [depth, is_through, count]}, box: {required: [dx, dy, dz], optional: [material]} } def validate_instruction(instruction): op instruction.get(op) if op not in OPERATION_SCHEMA: return False, fUnknown operation: {op} schema OPERATION_SCHEMA[op] params instruction.get(params, {}) # 检查必填参数 for req in schema[required]: if req not in params: return False, fMissing required parameter {req} for operation {op} return True, OK # 在执行前校验 is_valid, msg validate_instruction(llm_output[0]) if not is_valid: # 触发LLM自我修正few-shot prompting corrected llm.chat(fFix this JSON: {llm_output[0]}. Error: {msg})这个校验器将建模失败率从12%降至0.3%且用户看到的是清晰的错误提示“缺少螺纹导程参数”而非晦涩的OCCT异常堆栈。5. 工程师真实工作流text-to-CAD如何融入日常设计5.1 场景一快速生成标准件替代繁琐的手动建模典型场景产线改造中需临时增加12个M12×1.75六角螺母。传统流程打开标准件库→搜索M12→下载STEP→检查尺寸→插入装配体→调整位置。耗时约8分钟。text-to-CAD流程在内部Web界面输入“生成12个ISO 4032 M12×1.75六角螺母材料碳钢表面镀锌”点击生成3.2秒下载ZIP包含12个独立STEP文件、1个DXF加工图、URDF描述直接拖入SolidWorks装配体关键价值消除“找标准件”时间。我们统计过机械工程师平均每天花17分钟查找/下载/验证标准件text-to-CAD将其压缩至30秒内。更重要的是生成的螺母完全符合ISO 4032对边尺寸、对角尺寸、厚度、倒角全部精准无需二次校验。5.2 场景二从会议纪要直出初版结构件典型场景机器人项目评审会结束邮件收到纪要“底盘需承载20kg负载尺寸≤300×250×40mm底部预留4个M6安装孔孔距200×150顶部安装伺服电机NEMA 23法兰外径80mm需内置走线槽。”传统流程工程师手动建模2小时再发给同事评审。text-to-CAD流程将纪要粘贴至系统点击“生成结构件”系统输出STEP文件含完整尺寸标注、GDT基准A/B/CDXF加工图标注所有孔位、槽位URDF文件已配置inertial质量1.82kgPDF报告含体积、质心、最大应力估算邮件发送链接同事在线评审实操心得我们要求LLM在生成时自动添加“设计依据”注释。例如在STEP文件的Product_Definition中写入“Generated from meeting notes 2024-06-15, item 3.2”。这不仅是溯源更是责任界定——当设计出错时能快速定位是需求理解偏差还是建模执行错误。5.3 场景三批量修改旧图纸告别重复劳动典型场景客户要求将现有50张DXF图纸中的所有M5螺纹孔改为M6且深度增加2mm。传统流程用AutoCAD脚本逐个打开、查找替换、保存。出错率高需人工复核。text-to-CAD流程上传50个DXF文件输入指令“将所有M5螺纹孔替换为M6×1.0深度2mm保持孔位不变”系统自动解析DXF识别螺纹孔图层LAYER: THREAD_HOLE提取孔中心坐标、直径、深度生成新孔特征M6×1.0深度原深度2重新导出DXF15分钟完成零人工干预核心技术DXF解析使用ezdxf库但关键在“螺纹孔识别”——我们训练了一个轻量CNN模型ResNet18仅1.2MB专门识别DXF中的螺纹标注如M5×0.8文本引线孔符号组合准确率99.2%。这比正则表达式匹配可靠得多。6. 未来演进text-to-CAD不是终点而是工程智能化的起点text-to-CAD当前的价值是“加速建模”但它的真正潜力在于成为工程知识的操作系统。我们正在推进三个方向与PLM系统深度集成当text-to-CAD生成模型时自动在Teamcenter中创建新物料号PN关联需求文档、变更请求ECR触发审批流。不再是“生成一个文件”而是“启动一个工程变更”。实时物理仿真反馈在生成过程中接入ANSYS Mechanical API对关键截面进行应力分析。如果“壁厚3mm”导致弯曲应力超限系统会提示“建议增至4mm或添加加强筋”并给出优化方案。跨格式语义理解不仅理解文字还能解析PDF图纸中的表格如BOM表、Excel中的公差要求如“IT7级”甚至手机拍摄的草图通过OCR几何识别。让工程师用任何载体输入需求系统都能理解。最后分享一个真实体会上周帮一家做AGV底盘的公司做验证他们CEO看着系统30秒生成带轮毂、电机安装位、电池仓的底盘模型说了一句让我印象深刻的话“以前我们招机械工程师看的是SolidWorks证书以后得看他会不会用自然语言精准描述需求。” text-to-CAD不会取代工程师但它正在重新定义“优秀工程师”的能力边界——从“熟练操作软件”升级为“精准表达工程意图”。这或许才是这场变革最深远的影响。