一、基础概念与架构入门Transformer 的核心组件有哪些自注意力公式中 Q/K/V 各代表什么为什么需要位置编码RoPE 与绝对位置编码的区别多头注意力相比单头的优势在哪Encoder-only、Decoder-only、Encoder-Decoder 分别适合什么任务什么是 TokenizationBPE 与 WordPiece 的差异如何扩展 LLM 的上下文窗口长度Attention 计算复杂度为什么是 O(n²)改进方案有哪些预训练阶段的关键步骤有哪些GPT、BERT、T5 的架构差异是什么LayerNorm 与 RMSNorm 的区别残差连接的作用是什么为什么现代大模型多用 Decoder-only 架构什么是 MoE混合专家如何降低推理成本RoPE 为什么能外推到更长序列二、预训练与微调进阶预训练与微调的目标差异是什么什么是 SFT通常在哪个阶段进行PEFT 包含哪些方法LoRA 的原理参数量为何这么小LoRA 相比 Adapter、Prefix Tuning 的优势什么是 QLoRA如何在 24G 显卡微调 70B全量微调与 LoRA 该如何选择什么是灾难性遗忘怎么缓解训练数据如何清洗与去重分词器Tokenizer如何训练词表大小怎么定学习率与 batch size 怎么设置warmup 的作用混合精度训练FP16/BF16的坑梯度检查点Gradient Checkpointing原理分布式并行策略DP/TP/PP/ZeRO 各解决什么问题RLHF 三阶段流程是什么奖励模型Reward Model如何训练什么是奖励黑客Reward HackingPPO 与 DPO 的区别DPO 为何更简单ORPO、KTO 等新对齐方法的特点指令数据质量比数量更重要吗如何评估一次微调是否成功三、提示工程进阶Zero-Shot 与 Few-Shot 的区别Chain-of-ThoughtCoT为什么有效如何设计角色设定System Prompt多轮对话如何管理上下文减少模型幻觉的提示技巧Self-Consistency 是什么提示词模板如何做版本管理Tree-of-Thought 是什么长提示如何压缩而不丢信息如何防止提示词注入Prompt Injection结构化输出JSON怎么稳定拿到Prompt Caching 是什么四、RAG 检索增强进阶RAG 完整工作流程是怎样的文本分块Chunking策略及各方案的坑Chunk Size 和 Overlap 怎么选常见 Embedding 模型及选型思路向量数据库选型Milvus/Qdrant/Pinecone混合检索Hybrid Search怎么做重排序Rerank模型的作用常用相似度检索算法cosine/HNSW知识库更新与版本管理RAG 系统召回与回答质量评估体系引用溯源Citation如何实现多跳Multi-hop查询处理方案GraphRAG 解决了什么问题中文 RAG 特有的难点RAG 上下文窗口成本控制五、推理优化与部署深入PTQ 与 QAT 量化有什么区别INT8/INT4/FP8 量化各有什么取舍量化为什么不显著降低精度KV Cache 是什么大小怎么估算Grouped Query AttentionGQA原理vLLM 的 PagedAttention 解决了什么如何提高推理吞吐Throughput连续批处理Continuous Batching是什么如何降低首字延迟TTFTSpeculative Decoding 原理模型并行与张量并行的落地难点算子融合Kernel Fusion是什么推理服务自动扩缩容怎么做边缘部署方案llama.cpp/Ollama线上推理的成本与质量监控六、评估与幻觉控制深入常用 LLM 评估基准MMLU/GSM8K 等自动评估与人工评估如何结合ROUGE/BLEU/BERTScore 各适用场景幻觉有哪几种形式分别从哪层控制事实一致性校验怎么做Chain-of-Verification 是什么红队测试Red Teaming怎么做安全性与价值观对齐评估方法离线指标如何映射到线上效果评估集如何避免被污染Contamination七、Agent 智能体深入什么是 Agent为什么需要它ReAct 范式为什么有效Plan-and-Execute 与 ReAct 的区别工具调用Tool Calling的设计要点多 Agent 协作模式有哪些Agent 记忆Memory管理方案Agent 失败模式与兜底策略Function Calling 与 Agent 的关系八、工程落地与场景综合生产级 RAG 核心组件有哪些LLM 应用成本优化策略大模型服务灰度与回滚机制如何判断是否值得用大模型替代传统方案下面是一段真实可跑的 LoRA 微调代码面试常让你手写思路from peft import LoraConfig, get_peft_modelfrom transformers import AutoModelForCausalLM, TrainingArguments# 仅注入低秩矩阵冻结原始权重lora_cfg LoraConfig(r8, # 低秩维度lora_alpha16, # 缩放系数target_modules[q_proj,v_proj],lora_dropout0.05,)model AutoModelForCausalLM.from_pretrained(Qwen/Qwen2-0.5B)model get_peft_model(model, lora_cfg)model.print_trainable_parameters() # 可训练参数常 1%trainer.train()刷完这 100 题你大概能覆盖 90% 的大模型岗位面试。建议每题先开口答一遍再查资料补全。大数据工程师转型大模型应用开发不是转行是升维。你手中的Spark、Hive、DolphinScheduler不是要被淘汰的旧技术而是AI工程化落地最稀缺的基础能力。当一个团队既懂数据又懂AI的人只有你一个时你就是不可替代的桥梁。Data AI路在脚下2026年AI行业最大的机会毫无疑问就在应用层字节跳动已有7个团队全速布局Agent大模型岗位暴增69%年薪破百万腾讯、京东、百度开放招聘技术岗80%与AI相关……如今超过60%的企业都在推进AI产品落地而真正能交付项目的大模型应用开发工程师****却极度稀缺落地AI应用绝对不是写几个prompt调几个API就能搞定的企业真正需要的是能搞定这三项核心能力的人✅RAG融入外部信息修正模型输出给模型装靠谱大脑✅Agent智能体让AI自主干活通过工具调用Tools环境交互多步推理完成复杂任务。比如做智能客服等等……✅微调针对特定任务优化让模型适配业务目前脉脉上有超过1000家企业发布大模型相关岗位人工智能岗平均月薪7.8w实习生日薪高达4000远超其他行业收入水平技术的稀缺性才是你「值钱」的关键具备AI能力的程序员比传统开发高出不止一截有的人早就转行AI方向拿到百万年薪AI浪潮正在重构程序员的核心竞争力现在入场仍是最佳时机我把大模型的学习全流程已经整理好了抓住AI时代风口轻松解锁职业新可能希望大家都能把握机遇实现薪资/职业跃迁这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】⭐️从大模型微调到AI Agent智能体搭建剖析AI技术的应用场景用实战经验落地AI技术。从GPT到最火的开源模型让你从容面对AI技术革新大模型微调掌握主流大模型如DeepSeek、Qwen等的微调技术针对特定场景优化模型性能。学习如何利用领域数据如制造、医药、金融等进行模型定制提升任务准确性和效率。RAG应用开发深入理解检索增强生成Retrieval-Augmented Generation, RAG技术构建高效的知识检索与生成系统。应用于垂类场景如法律文档分析、医疗诊断辅助、金融报告生成等实现精准信息提取与内容生成。AI Agent智能体搭建学习如何设计和开发AI Agent实现多任务协同、自主决策和复杂问题解决。构建垂类场景下的智能助手如制造业中的设备故障诊断Agent、金融领域的投资分析Agent等。如果你也有以下诉求快速链接产品/业务团队参与前沿项目构建技术壁垒从竞争者中脱颖而出避开35岁裁员危险期顺利拿下高薪岗迭代技术水平延长未来20年的新职业发展……那这节课你一定要来听因为留给普通程序员的时间真的不多了立即扫码即可免费预约「AI技术原理 实战应用 职业发展」「大模型应用开发实战公开课」还有靠谱的内推机会直聘权益完课后赠送大模型应用案例集、AI商业落地白皮书
)
