一、整体成长分层4 级能力阶梯L1 入门传统测试转大模型测试基础岗 / 测试执行L2 进阶专项大模型测试工程师功能 / 评测 / 自动化L3 高级大模型测试架构师平台建设、质量体系、性能压测L4 专家大模型质量专家算法对齐、安全治理、行业落地标准二、L1 入门层前置基础0→能参与模型测试执行1. 通用测试基础必须先掌握软件测试理论测试流程、用例设计、缺陷管理、冒烟 / 回归 / 集成测试测试工具禅道 / Jira、Postman、Git、Linux 基础命令、MySQL 简单查询接口测试基础HTTP/HTTPS、入参出参、JSON 解析、接口报错排查自动化入门Python 基础、Pytest、简单接口自动化脚本2. 大模型基础认知不用懂算法但要懂产品逻辑核心概念LLM 大语言模型、Embedding 向量、RAG 检索增强、微调 SFT、RLHF、提示词 Prompt、上下文窗口、Token主流架构区分基座大模型、行业微调模型、Agent 智能体、多模态大模型图文音视频产品形态对话机器人、AI 知识库、代码助手、AI 生成文案、多模态绘图、企业私有大模型基础运行流程用户 Prompt→分词 Token→模型推理→输出结果3. L1 阶段核心工作手工功能测试、Prompt 用例编写、标注评测、缺陷提交、回归验证输出物基础测试用例、人工评测打分表、基础测试报告三、L2 进阶层专项大模型测试核心能力核心工程师必备模块 1大模型功能评测测试最核心模块1Prompt 工程与用例设计体系提示词分类基础问答、复杂推理、角色扮演、多轮对话、边界 Prompt、对抗 Prompt、长文本输入用例分层正向用例、边界用例、负面诱导用例、极端长上下文、多轮上下文冲突测试场景问答准确性、逻辑推理数学 / 逻辑题、知识时效性、多轮一致性、格式输出JSON / 表格 / 代码、语言翻译、结构化抽取2人工评测体系主观 客观指标客观可量化指标事实准确率、重复率、幻觉率、答案完整度、上下文遗忘率、格式合规率主观打分维度通用 5 分制事实正确性有无编造虚假信息幻觉逻辑连贯推理是否自相矛盾指令遵循是否严格匹配用户需求流畅自然语句通顺、无重复冗余安全合规无违规输出3行业专项评测模板通用对话大模型、企业知识库 RAG 模型、代码大模型、金融 / 医疗 / 政务垂直模型、多模态图文模型模块 2RAG 检索增强专项测试企业私有大模型高频场景知识库流程测试文档上传、切片分块、向量入库、检索召回、上下文拼接核心测试点召回准确率提问能否匹配对应文档幻觉控制是否脱离知识库编造内容多文档冲突处理、长文档截断、重复文档干扰、无关文档过滤边界场景空白知识库、极小片段文档、超大单文件、涉密文档、图片 OCR 知识库模块 3大模型安全 对齐测试红线专项内容安全测试大类违法违规暴力、色情、涉政、谣言、诱导犯罪隐私泄露身份证、手机号、地址、企业内部数据偏见歧视性别、地域、种族歧视言论越狱 / 对抗 Prompt 测试角色扮演诱导、分段拆分提问、编码隐藏需求、翻译诱导、特殊符号混淆数据安全测试用户输入缓存、日志明文存储、模型记忆用户隐私、多租户数据隔离、微调数据泄露风险版权合规AI 生成抄袭、训练数据侵权、生成内容商用风险模块 4自动化评测体系脱离纯手工自动化评测两种路线规则自动化正则、JSON 校验、关键词拦截、长度校验LLM-as-judge大模型自评用标准模型打分待测模型输出批量自动化评测工具栈Python Pytest OpenAI / 本地模型 SDK 评测指标计算脚本批量压测 Prompt 集上万条测试集自动化跑批生成量化报表模块 5性能 推理专项测试核心性能指标TTFT首字输出延迟TPOT每 token 输出耗时吞吐量QPS 每秒请求数并发上限、上下文超长推理耗时、显存占用、CPU 负载压测工具Locust、OpenAPI 压测脚本、分布式压测资源场景测试单机推理、多机分布式、量化模型4bit/8bit性能对比、缓存加速效果模块 6多模态大模型扩展测试图文 / 音视频文生图、图生文、图文问答、语音识别、语音合成测试专项图片幻觉、OCR 识别准确率、敏感图片生成拦截、语音转文字错字率四、L3 高级层大模型测试平台与质量体系测试架构师1. 自建大模型评测平台搭建平台核心模块Prompt 用例管理库、批量跑批引擎、LLM Judge 自动打分、可视化指标看板、缺陷联动、版本对比报告技术栈前端 Vue、后端 Java/Python、向量库 Milvus/FAISS、数据库、定时任务、报告导出能力支持多模型对比基线模型 vs 新版本微调模型、版本迭代回归自动化2. 全链路质量保障体系研发流程嵌入模型训练阶段数据质检→微调后离线评测→集成后接口自动化测试→线上灰度评测→线上监控巡检模型版本基线管理固定基准模型每次迭代对比幻觉率、准确率波动自动拦截退化版本质量门禁标准定义各指标阈值幻觉率≤3%、安全拦截通过率 100%、TTFT1.5s 等不达标禁止上线3. 线上观测与持续测试线上监控指标实时幻觉占比、安全违规请求、超时请求、用户多轮对话负反馈真实用户样本回流线上用户 Prompt 自动采集定期回流重测模型新版本线上应急测试突发安全漏洞快速造对抗用例、灰度放量风险验证4. 数据质量测试训练 / 微调数据测试训练数据质检脏数据、违规样本、重复样本、错误事实样本、数据分布不均衡微调 SFT 数据集评测指令多样性、答案标准度、是否存在安全隐患五、L4 专家层大模型质量专家算法协同 行业标准算法对齐深度理解SFT 监督微调、RLHF 人类反馈强化学习、DPO 偏好优化原理量化评测指标自研脱离通用打分搭建行业专属客观量化指标金融准确度指标、医疗诊断指标模型退化根因分析定位是数据、微调参数、提示词模板、推理引擎导致效果下跌安全体系建设企业大模型安全规范、等保适配、行业监管合规金融 / 政务大模型规范跨团队协同与算法、产品、运维共建模型质量标准输出企业级大模型测试规范白皮书六、配套技术工具学习栈分阶段L1 入门工具Linux、MySQL、Postman、Jira、Git、Python 基础L2 进阶工具模型调用OpenAI SDK、LLama、Qwen、GLM 本地模型部署调用自动化Pytest、Locust 压测向量库基础Milvus 简单操作评测LLM Judge 脚本、人工评测表格工具L3 架构工具评测平台开发FastAPI、Vue、Milvus/FAISS监控PrometheusGrafana、日志 ELK工作流Airflow 批量评测调度L4 专家工具模型微调框架LLaMA Factory、数据集清洗工具、模型量化工具、安全攻防测试框架七、分阶段学习路线时间表落地执行版阶段 11 个月 L1 入门补齐软件测试、接口、Python 基础吃透大模型基础概念、产品流程完成 1 套基础对话模型手工测试实战输出完整测试用例阶段 22-3 个月 L2 进阶核心掌握 Prompt 用例设计 人工评测打分体系吃透 RAG 知识库全套测试场景完成安全对抗测试集编写搭建简单自动化评测脚本学会大模型性能压测输出性能报告阶段 33-6 个月 L3 高级参与 / 搭建简易大模型评测平台搭建完整模型迭代质量门禁、回归体系搭建线上模型效果监控、用户样本回流机制主导垂直行业大模型完整测试项目阶段 46-12 个月 L4 专家深入微调、RLHF 算法逻辑能分析模型效果退化输出企业大模型测试标准、安全规范主导复杂多模态、分布式大模型全链路质量保障八、配套实战项目学习必做提升竞争力基础实战开源大模型通义千问 / Llama3对话功能完整测试输出评测报告RAG 实战搭建本地知识库完成文档检索全套功能 幻觉专项测试自动化实战开发批量 LLM 评测脚本实现上万条 Prompt 自动打分对比平台实战搭建极简评测平台支持用例管理、模型跑批、指标看板安全实战整理百条对抗越狱 Prompt验证模型安全拦截能力九、配套学习资料方向理论大模型评测论文MT-Bench、MMLU、GSM8K 等通用评测集工程开源评测框架OpenCompass、EvalScope安全大模型攻防、生成式 AI 合规规范实战阿里云、腾讯云、华为云大模型测试官方文档