从 0 开始学 AI第 4 课CPU、GPU、显存和算力基础1. 这一课要解决什么问题2. AI 为什么需要硬件算力3. CPU 是什么4. GPU 是什么5. CPU 和 GPU 的核心区别6. 为什么 AI 特别适合用 GPU7. 显存是什么8. 为什么显存对 AI 很重要9. 模型大小和显存有什么关系10. 训练和推理对硬件的要求训练推理11. 什么是量化12. 普通人学习 AI 需要买高端 GPU 吗13. 常见误区误区 1CPU 很强就能很好地跑大模型误区 2GPU 强就一定能跑所有模型误区 3显存越大AI 一定越聪明误区 4普通人必须买高端 GPU 才能学 AI14. 本课核心总结15. 本课自测问题1. 这一课要解决什么问题前面我们学到数据是 AI 学习的材料。 算法是 AI 学习的方法。 算力是 AI 学习和运行的动力。这一课继续理解 AI 背后的硬件基础CPU 是什么GPU 是什么AI 为什么特别依赖 GPU显存为什么重要普通人学习 AI 是否必须买高端 GPU2. AI 为什么需要硬件算力AI 模型处理图片、文字、语音时计算机并不是直接理解这些内容而是先把它们转换成数字。例如图片 → 像素数字 文字 → Token 数字 语音 → 数字信号模型处理这些数字时会进行大量计算尤其是矩阵运算向量运算加权求和神经网络计算所以AI 不是凭空“思考”而是在硬件上进行大量数字计算。一句话理解AI 的训练和推理都离不开算力。3. CPU 是什么CPU全称是 Central Processing Unit中文叫中央处理器。可以把 CPU 理解成电脑的总指挥。CPU 擅长运行操作系统执行程序逻辑处理复杂判断调度不同任务管理输入输出运行普通软件CPU 的特点是通用性强 适合复杂逻辑 适合任务调度 单个核心能力强比如下面这些任务CPU 很擅长如果用户点击按钮就打开页面。 如果订单金额大于 1000就打折。 读取文件并保存结果。 根据不同条件执行不同逻辑。一句话总结CPU 擅长复杂逻辑和通用任务是电脑里的总指挥。4. GPU 是什么GPU全称是 Graphics Processing Unit中文叫图形处理器。GPU 最早主要用于图形渲染比如游戏画面、3D 图像、视频处理。后来人们发现GPU 非常适合 AI因为它擅长同时处理大量相似计算。可以这样类比CPU 像一个能力很强的总指挥擅长复杂决策。 GPU 像一大批工人擅长同时处理大量重复任务。GPU 的特点是并行能力强 适合大量重复计算 适合矩阵和向量运算 适合深度学习和大模型计算一句话总结GPU 擅长大规模并行计算是 AI 训练和推理的重要硬件。5. CPU 和 GPU 的核心区别对比项CPUGPU角色总指挥并行计算工厂擅长任务复杂逻辑、任务调度、通用计算大量相似计算、并行计算适合场景操作系统、普通程序、业务逻辑图像处理、矩阵运算、AI 计算类比厂长 / 指挥官大量工人简单理解CPU 适合处理复杂但数量没那么大的任务。 GPU 适合处理简单但数量非常大的任务。6. 为什么 AI 特别适合用 GPUAI 里有大量计算尤其是深度学习和大模型。这些计算通常具有几个特点数量巨大 形式相似 可以并行例如图片识别要处理大量像素数字。语音识别要处理大量声音信号。大语言模型要处理大量向量和矩阵。神经网络训练要不断计算和调整参数。这些任务正好适合 GPU。所以AI 特别依赖 GPU是因为 GPU 擅长同时处理大量相似计算。7. 显存是什么显存也叫 VRAM是 GPU 使用的高速存储空间。可以把显存理解成GPU 的工作台。显存主要用来存放模型参数输入数据中间计算结果缓存数据对比如下名称主要给谁用作用内存 RAMCPU存放程序运行时的数据显存 VRAMGPU存放模型、输入数据和计算结果硬盘CPU / GPU 都可读取长期保存文件和模型一句话总结显存是 GPU 工作时临时存放模型和数据的地方。8. 为什么显存对 AI 很重要大模型运行时需要把很多内容放进显存。包括模型参数 输入内容 中间计算结果 上下文缓存如果显存不够可能会出现模型加载失败只能运行更小模型需要使用量化模型推理速度变慢上下文长度受限训练无法开始可以用桌子来类比显存 工作桌 模型 要摊开的资料 计算过程 正在处理的任务如果桌子太小资料放不下工作就很难顺利进行。所以显存大小直接影响能不能运行大模型以及运行是否顺畅。9. 模型大小和显存有什么关系大模型经常会看到这样的说法7B 模型 13B 模型 70B 模型这里的 B 是 Billion表示十亿。例如7B 70 亿参数 13B 130 亿参数 70B 700 亿参数参数可以先理解成模型内部学到的大量数字。一般来说参数越多 → 模型越大 → 占用显存越多不过实际显存占用还会受到这些因素影响参数精度是否量化上下文长度批量大小是训练还是推理第一轮学习只需要先记住模型越大通常越吃显存训练比推理更吃显存。10. 训练和推理对硬件的要求训练和推理都需要算力但要求不同。训练训练是模型学习的过程。训练时模型需要反复读取数据 做出预测 计算误差 调整参数 继续训练训练通常需要更强 GPU更多显存更多时间更多电力更多数据所以训练大模型成本很高。推理推理是模型训练好之后的使用过程。例如用户输入一个问题 模型生成回答推理通常比训练轻一些但如果模型很大、用户很多、上下文很长推理成本也会很高。简单对比阶段含义硬件压力训练让模型学习很高推理使用模型回答问题相对较低但大规模使用也很高11. 什么是量化量化是一种降低模型显存占用的方法。模型参数本质上是大量数字。这些数字可以用不同精度保存。简单理解高精度参数占空间大信息更完整 低精度参数占空间小可能有轻微损失量化就是用更省空间的方式保存模型参数从而降低显存占用。类比一下高清图片 → 文件大质量高 压缩图片 → 文件小质量可能略有损失量化模型也是类似原始模型 → 占显存大 量化模型 → 占显存小更容易本地运行但要注意量化可以降低显存占用但可能带来一定效果损失。12. 普通人学习 AI 需要买高端 GPU 吗一开始不需要。对于 0 基础学习 AI前期重点是理解 AI 概念学习 Python使用现成模型调用 AI API学习 Prompt做简单 AI 应用学习 RAG 和 Agent这些内容不需要从 0 训练大模型也不需要高端 GPU。普通人可以先使用在线 AI 工具云端模型API开源平台免费或低成本云计算资源等后面真正需要做本地部署、模型微调、推理优化、GPU 编程时再考虑硬件升级。一句话总结学 AI 不需要一开始就买高端 GPU先学概念和应用更重要。13. 常见误区误区 1CPU 很强就能很好地跑大模型不一定。CPU 可以运行一些模型但大模型需要大量并行计算GPU 通常更适合。误区 2GPU 强就一定能跑所有模型不一定。除了 GPU 计算能力还要看显存大小。有些 GPU 计算能力不错但显存不够也跑不动大模型。误区 3显存越大AI 一定越聪明不一定。显存大只是说明更容易运行大模型或更长上下文。AI 回答质量还取决于模型本身能力训练数据算法结构提示词质量是否接入知识库是否能调用工具误区 4普通人必须买高端 GPU 才能学 AI不需要。前期完全可以使用现成模型、在线工具和 API。硬件进阶可以放到后面再学。14. 本课核心总结这一课最重要的是理解CPU 负责通用逻辑和任务调度。 GPU 负责大量并行计算。 显存负责存放模型、数据和中间计算结果。进一步理解AI 需要大量矩阵和向量计算所以特别适合 GPU。 模型越大通常越吃显存。 训练比推理更消耗算力和显存。 普通人学习 AI一开始不需要买高端 GPU。最简记忆版CPU 像总指挥。 GPU 像并行计算工厂。 显存像 GPU 的工作台。 算力决定 AI 跑得动不动、跑得快不快。15. 本课自测问题CPU 和 GPU 最大的区别是什么为什么 AI 特别适合用 GPU显存是什么为什么显存不够可能跑不动大模型普通人学习 AI 一开始是否必须买高端 GPU训练和推理哪个更吃算力为什么能用自己的话回答这些问题就说明已经理解了本课的核心内容。