去年有个朋友找我帮忙看一个RAG问答项目线上跑着跑着就开始胡言乱语用户问发票怎么开系统回复的是请提供您的订单编号。排查半天问题出在检索链路文档切分得太碎、embedding模型又是通用的压根没针对业务语料调过。这种事现在太常见了。大家会用ChatGPT、会调LangChain、能手搓一个demo但一说到稳定上线效果可评估成本可控制很多人就卡住了。这中间的落差恰恰就是AI工程师这个角色要补的位置。ai-engineering-from-scratch这个项目本质上就是一套从零开始的AI工程能力训练路线。它不教你背Prompt技巧也不带你读那些动辄几十页的模型论文而是把能用AI做东西和能把AI做成产品之间需要的能力拆开、排好序让一个有一定编程基础但没系统接触过AI工程的人按着路线走完就能独立交付一个可用的AI应用。这个方向适合几类人想转岗AI方向的软件工程师、做过几个AIdemo但始终上不了规模的学生、以及公司里被要求搞个AI功能却不知道从哪落地的同学。下面我把这套路线的设计思路、实操过程、工具选型和踩坑经验完整拆开讲你完全可以照着它一步步来。1. 为什么我会把AI工程从零开始做成一套体系1.1 会调库不等于会做AI工程先分清两种人先说个直观的例子。用LangChain写一个读PDF然后回答你问题的脚本半小时就能跑通。但把它变成企业内部的知识库问答系统事情就完全不一样了PDF里混着扫描件怎么办表格被切断了怎么处理用户同一个问题用不同问法检索结果一样吗答案置信度低的时候是硬答还是说不知道并发一上来显存和响应延迟怎么平衡这就是调包侠和AI工程师的分界线。调包侠关心能不能跑AI工程师关心能不能一直稳定跑、效果可不可度量、坏了能不能快速定位。前者是拼乐高照着图纸把积木搭起来后者是造乐高你得清楚每一块积木的受力结构、材料特性还得预判用户会怎么玩它。我在设计这套路线的时候最核心的出发点就是不能让人停留在能跑的幻觉里。所以整个体系里不断强调评估、监控、排查甚至故意设置一些坑让你踩。比如在RAG项目里先给你一段未经清洗的杂乱文档逼你自己写清洗逻辑而不是直接丢一个预处理好的干净数据集给你。踩过坑、修过bug你才算真的会了。1.2 碎片化学了三个月为什么还是做不出能上线的东西很多自学AI的朋友走的是这条路今天刷一个5分钟搞懂Transformer的视频明天收藏一篇Prompt工程终极指南后天跟着教程把某个开源项目跑起来然后……就没有然后了。碎片化学习最大的问题不是知识量不够而是没有一条主线把学什么、练什么、交付什么串起来。我见过太多简历上写着熟悉RAG的候选人问你的检索召回率大概多少失败case长什么样直接沉默。为什么会这样因为他只是跑通了一个demo没有真正经历过为了达到目标效果去调参数、翻文档、改架构的完整过程。这套路线解决的就是这个问题。它把能力拆成三层每一层都有明确的目标项目每一层结束你都能拿出一份能展示、能解释、能回答追问的成果。它不是看完了的知识清单而是做完了的能力清单。你在学习过程中积累的不是收藏夹里的文章数量而是一个一个跑通的项目和处理过的真实问题。2. 路线设计三层递进架构与三个关键取舍2.1 三层递进架构先打地基再造模型再交付服务整个路线我拆成了三层层层递进每层解决一个不同层次的问题。第一层是地基层解决的是数据和代码的问题。具体包括Python编程、数据结构和基础算法、pandas与NumPy做数据清洗和特征处理。别看这些名字土很多号称做AI的人卡住的恰恰是这一层数据一复杂就不知道怎么办DataFrame操作生疏数组维度搞不清楚。AI工程里有一句话叫garbage in, garbage out模型学习的是数据分布你的数据是乱的模型再好也白搭。第二层是模型层解决的是模型怎么训练、怎么评价、怎么调优的问题。这一层不需要你从零复现GPT-4但至少要亲手经历过一条完整的训练链路准备数据、划分训练集/验证集/测试集、选损失函数、跑梯度下降、监控过拟合、调学习率、对比参数、保存最优模型。我会让你手写一个线性回归、手写一个简单的两层神经网络再引入PyTorch把流程工业化。这个过程跑通了后面看任何新模型的文档都会快很多因为你知道训练这个环节的水有多深。第三层是应用层解决的是模型怎么变成产品的问题。这也是目前市场最稀缺、价值最直接的一层。具体来说包括提示词工程在后面我会解释为什么它不止是写提示词、RAG的完整落地、Agent的简单编排、用FastAPIDocker把服务部署上线、以及怎么建评估集来度量系统效果。做到这一层你才具备了独立交付一个AI应用的能力。三层之间是有依赖关系的地基不牢后面全是窟窿模型原理不清楚调接口的时候只能瞎试部署和评估不会项目永远只能活在Jupyter Notebook里。2.2 三个关键取舍手写轮子、工具选型和数据体感设计这套路线的时候我做了三个比较重要的取舍这里直说我的理由。第一个取舍是前期要手写轮子。很多人觉得有sklearn谁还手写线性回归有PyTorch谁还要自己实现反向传播我的回答是你手写不是为了生产环境用它而是为了建立精确的心智模型。就好比你学汽车维修虽然现代车全是电脑控制但你还是得先搞懂发动机的四冲程原理不然故障灯亮了你根本不知道从哪查起。我要求至少手写一次线性回归的梯度下降、手推一次两层网络的反向传播然后再用框架重写一遍。这两遍做下来你对学习率梯度消失损失函数这些词的理解会从背概念变成有手感。第二个取舍是工具选型保守但够用。路线里的主力工具就四个Python、PyTorch、LangChain或者直接裸调OpenAI SDK、Docker。没有搞一堆花哨的前沿框架也没有追最新的大模型套件。我的考虑是市面上框架更新速度快到离谱你追这个月的热点下个月就过时了。但核心的工程能力——处理数据、构建训练流程、设计检索链路、封装服务、做评估——这些是迁移成本很低的通用技能。工具是壳能力是核。把一套主流工具用深比每个工具都浅浅摸一遍强得多。第三个取舍是先讲数据体感不急着深挖论文。早期刷了一堆公众号推文之后我踩过最大的坑就是一头扎进Transformer论文啃了一周似懂非懂代码一行没写焦虑感倒是拉满了。所以这套路线的策略是85%的时间在写代码、跑项目、看日志、调参数15%的时间用于理解必要的原理。你不需要先完全看懂Attention公式才能用LangChain写RAG你只需要知道检索出来的内容质量直接决定回答质量这个因果然后在实操里反复体会这就够了。原理会在你需要它的时候自动变得清晰。3. 实操全流程从空环境到跑通第一个可交付的AI项目3.1 环境搭建conda、Python版本与GPU驱动一次配好不知道多少人的AI学习之路第一关就死在环境上。我的建议是别磨蹭直接用Miniconda不用Anaconda。Anaconda预装了一堆你用不到的包体积大、依赖乱日后环境冲突起来你想哭。Miniconda够用需要什么自己装什么。命令也很简单先在终端里建一个独立环境Python版本选3.10兼容性最好不会出现某个包只支持3.8或者不支持3.12的情况conda create -n ai-engineer python3.10 conda activate ai-engineer如果你有NVIDIA显卡需要一个能用GPU的训练/推理环境。这里注意CUDA不是让你手动去官网装一整套那样版本没配好很容易踩坑。最简单可靠的做法是直接用PyTorch官方的pip命令安装带CUDA的版本。比如用cu121对应CUDA 12.1版本pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cu121装好后验证一下GPU能不能被识别python -c import torch; print(torch.cuda.is_available())如果输出的是True说明GPU环境OK了。这一步实测很稳比你自己配CUDA环境省一小时都不止。没有显卡也没关系课程前期和RAG项目部分用CPU完全可以跑得动就是慢点不适合训练大模型而已。接着装几个后续必用的库pandas、numpy、scikit-learn、transformers、datasets以及后面部署用的fastapi、uvicorn、docker。一次装齐pip install pandas numpy scikit-learn transformers datasets pip install fastapi uvicorn装包慢的问题国内普遍存在建议提前把pip换到国内镜像源比如清华源或者阿里源。这个就不展开说了搜一下就有能用才是硬道理。3.2 阶段一Python与数据处理先做一遍数据体操很多有编程基础的人会跳过我说的第一阶段直接去学模型。我的建议是别跳。AI工程和普通后端开发最不一样的地方就是你的代码处理的对象是数据而数据比你想象的脏得多。这个阶段我给的练习项目是给你一份模拟的电商订单表里面有几十万行乱得很——日期格式不一致、同一个用户有好几条重复的注册信息、价格列里混着¥ 199.00这种带货币符号的字符串、还有大量空值和明显越界的异常值。你的任务是把它清洗成一份可以直接拿去训练模型的特征表并构造出三个以上有业务含义的特征。这个过程里你会被迫用到pandas的DataFrame索引、groupby聚合、apply函数、正则表达式清洗、时间序列处理、缺失值填充策略。做完了你就有体感了为什么大家都说数据处理占一个AI项目80%的时间。它不是夸张是事实。很多大模型项目最后效果不好不是模型不行而是喂进去的数据太乱。在这个阶段还有一个小建议不要一上来就追求代码写得像框架先把功能跑通然后再重构一遍。第一遍是为了理解逻辑第二遍才是为了训练工程习惯。两遍下来你的数据处理能力就基本够用了。3.3 阶段二从手写梯度下降到训练第一个PyTorch模型这个阶段是整个路线里最有顿悟感的一段。我用三步走的方式带着你过关。第一步是手写线性回归。用NumPy实现梯度下降不调任何机器学习库。目标是在一个生成的带噪声的线性数据集上回归出接近真实斜率和截距的参数。写完之后画一条拟合线看看。这个步骤看着简单但你会直观看到什么是损失下降、什么是收敛慢、学习率设太大会发生震荡。这一步建立起对训练最基本的直觉。第二步是手写一个两层神经网络自己实现前向传播和反向传播。这个稍微有点烧脑但千万别绕过去。你不需要一次写完美可以对照公式一步步算用计算图把每一层的梯度推一遍。我会要求你把梯度和数值微分的结果对一遍误差小了才算过。做这一步的时候梯度消失学习率敏感这些之前听着抽象的词一下子就具体了。第三步是用PyTorch重写一遍然后在MNIST手写数字数据集上训练一个简单的多层感知机目标是把准确率做到95%以上。你会发现同样一个任务用手写的方式要写几十行用PyTorch十几行搞定而且它帮你搞定了自动求导、GPU加速、batch训练这些事情。亲手体验过从手写到框架的抽象过程之后你对框架的敬畏和信任都会变得很合理。到了这一步你再看网上那些3分钟训练一个图像分类模型的教程就不会被吓到了因为你已经知道背后发生了什么事。3.4 阶段三做一个本地知识库问答助手吃透RAG如果说前面两个阶段是热身那这个阶段就是真正进入AI工程的核心战场。项目题目很朴素做一个本地文档问答助手你的语料库是一堆杂乱的PDF、Word、Markdown文档用户提问系统给出有出处、有依据的回答。为什么选RAG而不是直接微调模型因为在企业内部知识库、个人文档助理这类场景里RAG是目前投入产出比最高、最容易落地、也最容易工程化的方案。它不需要巨额训练成本只需要合理利用现有的大模型能力把检索生成组合起来。整个项目的模块设计大致如下文档加载处理PDF、CSV、TXT等多种格式。这里有一个坑PDF里如果是扫描图片直接提取文字是空的得接OCR如果是表格普通提取器会把它转成一堆乱码。所以要对不同格式分别处理。文本切分把长文档切成小块同时保证块与块之间语义完整。切太碎上下文断了检索会召回一堆碎片切太大塞进Prompt会爆上下文窗口而且检索精度会被稀释。常见的做法是按标题层级切保持二级标题下内容为一个chunk加上少量重叠。Embedding用embedding模型把文本变成向量。注意选型问题通用embedding模型对专业领域词汇不太友好条件允许的话建议在你自己业务语料上做一下微调或对比实验。向量存储与检索用一个向量数据库chroma、milvus、qdrant都行存向量用户提问后也转成向量做相似度搜索取TopK。重排序第一轮向量检索出来的结果不一定完全贴合意图可以再接一个重排序模型把候选集重新打分排名效果一般能有明显提升。Prompt拼装与生成把检索到的文档片段和用户问题一起组装成Prompt交给大模型生成回答。这里有个关键设置Prompt里明确要求如果检索内容不足以回答问题请直接说明不知道不要编造。评估准备一小批有标准答案的测试题每次修改系统之后都跑一遍批测统计正确率。这个项目做完你对RAG的认知就不再是对着LangChain文档调接口了。你会知道哪些地方容易出问题、为什么用某个模型效果差、怎么判断检索结果的质量。这些东西不是任何教程能教会你的只能靠做项目踩一遍才会。3.5 阶段四FastAPI部署、Docker打包与基础评估模型做出来了脚本能跑了但如果只是本地跑一个Python文件那离工程还差得很远。这个阶段的目的是把它变成一个能被别人调用的服务。我用FastAPI把RAG问答助手封装成HTTP接口定义两个API一个负责上传/索引文档一个负责问答。再写一个不用很美观但能用的Streamlit页面连上去让不熟悉命令行的人也能用。最后用Docker把整个环境打包成镜像。Docker这一步很多人会拖但你想想你在电脑上跑是没问题同事电脑里Python版本不一样CUDA缺组件跑不起来这不就是最常见的AI项目落地困难吗Docker把环境打包交付正是解决这个问题的。打包Docker的时候有几个注意事项基础镜像不要图省事用默认的python:latest最好指定具体版本pip install尽量把requirements.txt里的依赖版本锁死避免昨天能跑今天报错的历史性难题模型文件不要打进镜像里太大了运行时挂载或下载到工作目录就行。上线之后还有一件事就是评估。我见过太多项目连效果怎么度量都想不清楚。你在生产环境收集用户的真实提问定期抽样人工标注回答是否准确、是否有引用依据形成一个小的golden set。以后不管换模型、调Prompt、改检索参数都拿这套题回归测试一遍看分数是升了还是降了。没有评估的AI项目等于开盲盒用户说好就是好说不好你就是那个背锅的人。4. 高频问题与排查技巧实录对着这份清单自查4.1 环境与依赖装包慢、报CUDA错误、跑着跑着突然OOM这里整理一份高频问题速查表都是我实操中反复遇到的。问题现象排查思路解法pip装包特别慢或超时网络源访问慢换国内镜像源或者用代理工具但注意合规torch.cuda.is_available()返回FalseCUDA驱动不对或PyTorch版本不匹配用PyTorch官网命令装匹配版本检查nvidia-smi驱动版本训练到一半内存/显存OOMbatch_size过大或模型太大调小batch_size、开启梯度累积、降低分辨率/序列长度conda环境冲突装包顺序混乱或同时装了多个版本新建干净环境重来不要在原环境反复折腾模型加载特别慢没启用GPU或者模型太大确认device设置考虑半精度加载或者换小模型用cpu推理关于CUDA还有一个坑很多人看到nvidia-smi输出的CUDA版本是11.x就去搜对应版本的PyTorch装结果折腾半天发现驱动版本和运行版本是两码事。只要你的显卡驱动够新直接装最新cu12系列的PyTorch一般都能跑。别在这个上面耗太多时间把时间留给项目本身。4.2 模型效果检索不到、答非所问、每跑一次答案都不稳定这是RAG项目里让你最崩溃的一组问题。第一个常见问题是用户输入了一个很具体的问题检索出来的文档片段里根本没有相关信息。排查思路很直接先不看最终回答单独看检索环节。把用户问题转成向量后打印TopK结果看看召回的内容是不是相关的。如果召回都不对问题出在embedding或者切分上可能文档切分破坏了语义或者embedding模型对专业术语理解不好。如果召回是对的但回答不对就要看Prompt拼得对不对上下文顺序也可以调整一下试试重要信息前置。第二种是模型一本正经地编造内容。这就是AI幻觉问题。工程上提供一个兜底Prompt里写清楚检索内容不足时回答抱歉在现有知识库中未找到相关信息。但别指望Prompt能100%解决真正的兜底是在代码里加一个判断衡量检索结果的相关度得分低于阈值就直接拒绝回答。宁可说不知道也不要胡说八道这在企业知识库场景里尤其重要。第三种是同样的提问每次回答都不一样但也不是完全瞎编。这是因为大模型采样有随机性。如果业务上需要稳定输出可以在API调用里把temperature调低到0.1甚至0同时用固定的seed参数部分服务端不一定支持能设就设。如果你是做一个根据文档给结论的辅助工具稳定比花样重要得多。4.3 部署与成本显存不够、并发一高就撑不住、推理成本怎么控网上的教程基本不会教你部署和成本控制但真实工作里这些才是老板最关心的。模型太大装不进显存这是最常见的尴尬。低成本的思路是能换小模型就不上大模型能用cpu就不抬GPU。RAG场景下如果只是做一个几千条文档的内部知识库一个7B或者更小的量级模型在CPU上配合量化运行延迟也还受得了。生成任务对实时性要求高、用户量大才值得花钱上GPU。控制成本还有一个实战技巧加缓存。用户经常问相似的问题你可以在后端加一层语义缓存——把问题embedding和已有问答记录做相似度匹配命中直接返回历史结果不再调用模型。实测开了缓存之后线上推理成本能省30%到50%响应还快不少。这一点在真实项目里非常加分。并发问题上FastAPI本身支持异步但你的模型推理是同步的一个请求进来会阻塞住。处理办法是给推理服务加进程池或者队列控制同时推理的请求数外部再套一层负载均衡。不做任何保护直接裸跑只要并发一冲上来服务必死而且很难排查是哪里先爆的。记住AI服务和普通后端服务不一样它有一个宝贵的资源叫显存用完了就完蛋不会像CPU那样只是变慢。5. 踩过这些坑之后我想说的几句实在话这套ai-engineering-from-scratch路线走到这里从环境搭建、数据清洗、模型训练到RAG落地、服务部署、效果评估已经形成了一个完整的闭环。回到文章开头那个朋友的案例如果他当时按这个思路走一遍其实完全可以在上线前就发现问题文档没清洗、切分不合理、没有兜底策略、没有评估集。这些问题全都是在项目过程中被反复强调过的检查点。我个人实测下来最深刻的体会是AI工程能力的增长靠的不是看多少篇文章而是处理过多少不在预期内的问题。遇到报错先读日志再拆链路确认是数据问题、模型问题还是工程问题然后动手解决。这个循环走得越多你对系统的直觉就越准下次再遇到新问题连猜的方向都是对的。不要害怕环境配置和bug调优那些才是最让你进步的部分。如果你打算按这条路线走我有几句实在的建议一是每天写一点工作日志记录当天遇到的问题、思考过程和解决方案这比任何笔记都值钱二是每个阶段结束之后尝试把项目讲给别人听讲不清楚的地方就是你没理解透的地方三是别贪快宁可一个项目反复重构两遍也不要为了进度囫囵吞枣过去。最后再分享一个心态上的tips刚接触AI工程的人总觉得自己要懂很多才能动手其实不用。先把一个小项目跑起来然后一个环节一个环节地抠遇到不会的就去查、去问、去试在解决具体问题的过程中积累能力。这条路没有什么天赋门槛无非是持续动手、持续复盘、持续把问题弄明白。保持这个节奏半年之后再回头看你会发现自己已经在不知不觉中走了很远。