logits 与 softmax模型的最后一个线性层为词表中每个 token 输出一组原始分数称为logits。其中 是词表大小 可以是任意实数正、负或零。这些 logits 不是概率加起来并没有太多意义。Softmax 函数将这组 logits 转换为合法的概率分布。生成下一个 token就是从这个分布中选一个。所有参数本质上都是在干预logits - 概率分布 - 采样这条流水线。temperature作用控制输出的随机程度。值越低越保守确定值越高越多样发散。原理将每个 logit 除以温度值 再送入 softmax高温T 1缩放效果是拉平概率分布使低概率 token 更有机会被采样输出更随机或有创造性。低温0 T 1分布变得更尖锐概率质量即离散分布中各点的概率值集中到最高概率的 token 上输出更具确定性。T 1 则原封不动地使用模型的原生分布。局限性temperature 只是对已有分布做缩放无法改变 token 之间的相对排名。如果模型对某个错误答案有极高的原生概率低温只会让这个错误更被强化而非纠正。此外对于 o4-mini 这类推理模型内部思维链已经决定了准确性temperature 主要影响的只是表面表述用词。常见误解误解temperature0 每次输出完全相同。数学上 时退化为 argmax贪心解码理论确定。但实践中有四个破坏因素① 浮点数非结合性GPU 浮点运算不满足结合律(ab)c与a(bc)之间存在若干 ULP 的偏差。在大规模并行 kernel 中规约和累加的顺序随每次运行变化导致最终 logits 产生微小漂移。② MoE 架构路由不确定性同一 prompt 两次被打包进不同批次MoE 模型可能给出不同答案这种不确定性完全来自模型架构和批处理策略而非采样逻辑。③ 云服务负载均衡API 请求可能落在硬件代次、驱动版本不同的机器上批次组成随系统负载变化直接影响 MoE 模型的输出。④ 框架非确定性算子PyTorch、CUDA 中某些 GPU 操作为追求速度而牺牲确定性执行顺序不固定导致运行间的微小差异。temperature0 只让 token 采样步骤在理论上变为确定性的。对于必须可复现的生产场景比如 审计、自动化测试还需要结合固定seed、单机单卡等手段。top_k作用在采样前截断候选集只保留概率最高的 k 个 token丢弃其余所有可能性从而避免模型随机采样到概率极低的垃圾 token。原理top_k 只保留概率最高的 k 个候选 token丢弃其余所有 token 再进行采样。若 k1退化为贪心解码等价于 temperature0。截断后对保留的 k 个 token 重新归一化使概率和为 1再进行采样。局限性候选集大小硬性固定与当前分布的形状完全无关•分布极度集中时模型非常确定前 1–2 个 token 已占据绝大多数概率k50 仍会纳入大量低质量长尾 token•分布极度平坦时模型不确定k3 可能排除掉很多合理候选强行限制了多样性。这种一刀切的固定性是 top_k 的弱点也是 top_p 被提出的原因。常见误解误解top_k 越大越好。增大 k 并不总是提升质量。当分布已经很尖锐时更大的 k 反而会把低概率、语义不连贯的 token 引入候选池增加生成垃圾内容的概率。k 的合理值取决于任务没有普适的越大越好。误解top_k 和 temperature 是独立控制随机性的两个维度可以互相替代。两者作用阶段不同temperature 在 softmax 之前修改 logits改变的是分布的形状。top_k 在 softmax 之后截断概率改变的是候选池范围。前者影响所有 token 的相对概率后者只是物理删除低概率候选。top_p作用动态截断候选集。不固定候选数量而是根据模型在当前时刻的置信程度自动调整候选集大小在多样性与质量之间取得自适应平衡。原理设定概率阈值 p将 token 按概率从高到低排序依次累加直到累积概率刚好超过 p的最小集合即为候选集nucleus只从这个集合中采样。当模型分布扁平高不确定性时nucleus 自动扩张以保留多样性。当分布尖锐高置信度时nucleus 自动收缩过滤掉长尾噪声。局限性top_p 对 p 值本身的变化比较敏感比如 p0.9 与 p0.95 在分布扁平时可能纳入截然不同数量的候选。此外top_p 与 temperature 的叠加效果难以直觉推断temperature 先改变了分布形状top_p 再基于这个被改变的分布做截断两个参数存在非线性耦合。常见误解误解top_p 和 temperature 应该同时调到最优各自独立优化。同时调节两者的交互很难推理容易造成不可复现的调试困境有不少模型提供商的API文档建议调其中一个。比如先只调 temperature固定 top_p 为默认值通常 0.9–0.95理解效果后若有需要再联合调试每次只改变一个变量。误解top_p1.0 等同于不使用 top_p效果与去掉该参数相同。从数学上看是正确的p1.0 时累积概率总能覆盖全词表等于不截断。但如果同时叠加了 top_ktop_k 的截断仍然生效并非真正无限制采样。frequency_penalty作用抑制已出现过的 token 被重复使用且惩罚力度随出现次数累积增强专门用于打破循环重复的生成模式。原理在 logit 层施加与出现次数成正比的加性惩罚以 OpenAI 实现为基准adjusted_logitlogit−frequency_penalty×count(token)假设 frequency_penalty0.2某 token 默认 logit 为 100。第二次出现时100 - 2×0.2 99.6第三次出现时100 - 3×0.2 99.4惩罚持续累加。局限性惩罚作用于所有已出现的 token包括功能词“的”“是”“the”“a”、标点、以及语义上必须重复的词。过高的 frequency_penalty 会强迫模型回避合理的重复导致用词刻意绕弯、语言变得不自然甚至影响事实准确性比如 不得不换用不准确的近义词。常见误解误解frequency_penalty 与 repetition_penaltyHuggingFace是同一个东西只是叫法不同。两者逻辑根本不同OpenAI 的 frequency_penalty 是加性惩罚直接在 logit 上减去一个数值。HuggingFace 的 repetition_penalty 是乘法惩罚将 logit 除以惩罚系数两者在数学上不等价参数值也无法对应换算。不同 API 对 penalty 的实现方式可能不同切换框架时以对应文档为准。误解把 frequency_penalty 调高就能解决模型啰嗦的问题。频繁重复有时不是参数问题而是 prompt 设计问题如系统提示本身重复强调了某些词或没有明确限制长度。通过 prompt 层面的指令往往比调高 penalty 更精准而且不会误伤功能词。presence_penalty作用对所有出现过的 token 施加固定的一次性惩罚不区分出现频次目的是鼓励模型转换话题、拓宽词汇覆盖而非简单抑制重复。原理presence_penalty 只减少 logit 分数一次不基于出现频率仅因该词曾经出现过就施加惩罚。adjusted_logitlogit−presence_penalty×[token 出现过]无论某 token 出现了 1 次还是 100 次[token 出现过] 恒为 1惩罚力度始终相同。简单说就是presence_penalty 只问一个最简单的问题“你出现过吗是或否”局限性与 frequency_penalty 的局限类似对功能词、标点、必要术语一视同仁地施加惩罚无法区分应该避免的重复和语法上必须出现的词。由于惩罚是固定值而非累积值它对高频重复的抑制力度反而弱于 frequency_penalty一个词出现 20 次和出现 1 次受到的惩罚完全相同。常见误解误解frequency_penalty 和 presence_penalty 效果类似用一个就够了。frequency_penalty 专门针对被反复使用的词每次出现都继续降低其分数适合打破重复循环。presence_penalty 的作用更接近强迫探索新词汇适合让模型在长文本中保持话题多样性。误解将 presence_penalty 调为负值没有实际用途。负值意味着鼓励重复出现过的词。这在某些场景下还是有实际价值滴~比如需要模型在生成过程中保持高度一致格式固定的模板词、JSON key 名称等或者强制模型围绕特定关键词作答。max_tokens作用设置单次生成的最大 token 数量是控制输出长度和推理成本的硬性上限。原理这是一个计数器每生成一个 token 计数加一达到max_tokens后立即停止无论当前句子或逻辑是否完整。不参与任何概率计算不影响分布形状纯粹是外部截断。局限性max_tokens无法控制输出的语义完整性截断点由计数决定不由句子边界或逻辑单元决定因此超出限制时输出会被硬性切断可能产生半句话或残缺的结构如 JSON 的{ xxxx }未闭合。如果需要完整但简短的回答更好的做法是在 prompt 中明确要求而非仅靠 max_tokens 约束。常见误解误解max_tokens 设多少输出就有多长。max_tokens是上限不是目标值。模型可能在远未到达上限时就自然结束生成eostoken。若想控制输出不短于某个长度max_tokens 无能为力需要通过 prompt 指令实现。误解token 数 ≈ 字符数可以直接换算。token 与字符之间没有固定比例。英文约 1 个 token 对应 4 个字符1 个单词约 1.3 个 token。中文通常 1 个汉字对应 1~2 个 token。代码、公式、特殊符号的分词更加不规律。设置max_tokens时建议留出 20~30% 的余量并通过 tokenizer 工具实际测量。结语注意不同框架对参数的应用顺序不完全相同同样的参数值在不同推理引擎上可能产生不同输出。​最后我在一线科技企业深耕十二载见证过太多因技术更迭而跃迁的案例。那些率先拥抱 AI 的同事早已在效率与薪资上形成代际优势我意识到有很多经验和知识值得分享给大家也可以通过我们的能力和经验解答大家在大模型的学习中的很多困惑。我整理出这套 AI 大模型突围资料包✅AI大模型学习路线图✅Agent行业报告✅100集大模型视频教程✅大模型书籍PDF✅DeepSeek教程✅AI产品经理入门资料完整的大模型学习和面试资料已经上传带到CSDN的官方了有需要的朋友可以扫描下方二维码免费领取【保证100%免费】​​为什么说现在普通人就业/升职加薪的首选是AI大模型人工智能技术的爆发式增长正以不可逆转之势重塑就业市场版图。从DeepSeek等国产大模型引发的科技圈热议到全国两会关于AI产业发展的政策聚焦再到招聘会上排起的长队AI的热度已从技术领域渗透到就业市场的每一个角落。智联招聘的最新数据给出了最直观的印证2025年2月AI领域求职人数同比增幅突破200%远超其他行业平均水平整个人工智能行业的求职增速达到33.4%位居各行业榜首其中人工智能工程师岗位的求职热度更是飙升69.6%。AI产业的快速扩张也让人才供需矛盾愈发突出。麦肯锡报告明确预测到2030年中国AI专业人才需求将达600万人人才缺口可能高达400万人这一缺口不仅存在于核心技术领域更蔓延至产业应用的各个环节。​​资料包有什么①从入门到精通的全套视频教程⑤⑥包含提示词工程、RAG、Agent等技术点② AI大模型学习路线图还有视频解说全过程AI大模型学习路线③学习电子书籍和技术文档市面上的大模型书籍确实太多了这些是我精选出来的④各大厂大模型面试题目详解⑤ 这些资料真的有用吗?这份资料由我和鲁为民博士共同整理鲁为民博士先后获得了北京清华大学学士和美国加州理工学院博士学位在包括IEEE Transactions等学术期刊和诸多国际会议上发表了超过50篇学术论文、取得了多项美国和中国发明专利同时还斩获了吴文俊人工智能科学技术奖。目前我正在和鲁博士共同进行人工智能的研究。所有的视频教程由智泊AI老师录制且资料与智泊AI共享相互补充。这份学习大礼包应该算是现在最全面的大模型学习资料了。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。智泊AI始终秉持着“让每个人平等享受到优质教育资源”的育人理念‌通过动态追踪大模型开发、数据标注伦理等前沿技术趋势‌构建起前沿课程智能实训精准就业的高效培养体系。课堂上不光教理论还带着学员做了十多个真实项目。学员要亲自上手搞数据清洗、模型调优这些硬核操作把课本知识变成真本事‌​​​​如果说你是以下人群中的其中一类都可以来智泊AI学习人工智能找到高薪工作一次小小的“投资”换来的是终身受益应届毕业生‌无工作经验但想要系统学习AI大模型技术期待通过实战项目掌握核心技术。零基础转型‌非技术背景但关注AI应用场景计划通过低代码工具实现“AI行业”跨界‌。业务赋能 ‌突破瓶颈传统开发者Java/前端等学习Transformer架构与LangChain框架向AI全栈工程师转型‌。获取方式有需要的小伙伴可以保存图片到wx扫描二v码免费领取【保证100%免费】**​