1. 为什么AMD显卡跑Ollama这件事值得单独拿出来讲如果你最近在折腾本地大模型大概率绕不开Ollama这个名字。它的好处很直接一条命令拉模型、一条命令跑推理不用自己写加载脚本也不用跟各种依赖版本打架。但问题也恰恰出在这里——Ollama在Windows上的默认加速路径长期是围绕NVIDIA的CUDA生态来设计的。你插一张AMD显卡上去装完Ollama跑个ollama run会发现模型确实能跑但速度慢得让人怀疑人生因为它在用CPU硬扛。这就是本篇要解决的核心问题在Windows环境下让Ollama正确识别AMD显卡并启用GPU加速。我拿手头一张RX 9600XT做实测把从驱动、运行时到Ollama配置的整条链路走了一遍中间踩的坑不少有些是官方文档没写清楚的有些是版本兼容性导致的。这篇文章适合三类人手里有AMD显卡想跑本地模型的、已经装了Ollama但发现没吃到GPU的、以及想搞清楚Windows下AMD GPU计算这条链路到底怎么走通的。先说结论避免你看到一半才发现方向不对Windows下让Ollama用上AMD GPU核心不是改Ollama本身而是把ROCm这套运行时在Windows上装通然后让Ollama能找到它。这句话听起来简单但每一步都有细节。下面我按实际操作的顺序拆开讲包括为什么这么选、每一步在干什么、以及我实测中遇到的具体报错和处理方式。需要提前说明的是AMD在Windows上的GPU计算支持相比Linux要窄一些官方对ROCm的Windows支持是逐步铺开的不同显卡架构的支持程度不一样。RX 9600XT属于较新的RDNA架构产品支持情况相对好但依然需要确认你的具体型号在支持列表里。这一点我在第二节会给出具体的确认方法不要跳过。2. 动手之前必须确认的三件事显卡、驱动、系统版本很多人一上来就装Ollama、拉模型跑不动了才开始查结果发现是显卡根本不在支持列表里白折腾。所以我把前置检查放在最前面这三件事确认完后面能省掉大量无效操作。2.1 确认你的AMD显卡是否在ROCm支持范围内ROCm是AMD的开放计算平台相当于NVIDIA的CUDA。Ollama在AMD上走的就是ROCm这条路。但ROCm对显卡是有明确支持列表的不是所有AMD卡都能用。确认方法很直接打开AMD官方ROCm文档的兼容性列表页面找Supported GPUs那一节对照你的显卡型号。RX 9600XT这类较新的RDNA架构卡通常在支持范围内但一些老卡比如更早期的GCN架构可能只支持到某个ROCm版本或者干脆不支持Windows。我实测的RX 9600XT在列表里是明确支持的这也是我选它做示例的原因。如果你手里的卡不在列表里那Windows下走ROCm这条路基本走不通只能考虑Linux或者退而求其次用CPU跑小模型。提示不要只看显卡系列名要看具体的型号标识。同一个系列里不同型号的支持情况可能不同以官方列表为准。2.2 驱动版本不是越新越好而是要匹配ROCm这是第一个容易踩的坑。很多人习惯性去AMD官网下最新驱动装上结果ROCm运行时找不到设备。原因是ROCm对驱动版本有要求太新或太旧都可能出问题。正确的做法是先确定你要装的ROCm版本然后去查这个ROCm版本对应的推荐驱动版本再装那个版本的驱动。ROCm的release notes里通常会写明Recommended Driver。我实测时用的是ROCm 6.x系列对应的驱动是Adrenalin某个特定版本。装完之后可以用rocminfo命令验证如果能看到你的显卡设备信息说明驱动和ROCm对上了。如果rocminfo报错或者列不出设备八成是驱动版本不匹配。这里有个细节Windows下AMD的消费级显卡驱动和专业卡驱动是分开的消费级卡走Adrenalin专业卡走Pro Edition。RX 9600XT是消费级卡装Adrenalin就行。但要注意某些ROCm版本可能对Adrenalin的某个分支有偏好装之前查一下。2.3 系统版本和WSL的取舍Windows下跑ROCm有两条路一是原生Windows二是通过WSL2。这两条路的成熟度不一样。原生Windows的ROCm支持是后来才补上的早期只能在Linux上跑。现在虽然有了Windows版但生态和稳定性相比Linux还是有差距。WSL2这条路的好处是你可以在Windows里跑一个Linux环境ROCm在Linux上的支持是最成熟的坑最少。我两条路都试过。原生Windows的优点是直接不用折腾WSL缺点是遇到问题时排查资料少社区经验也少。WSL2的优点是ROCm支持成熟Ollama在Linux下的AMD支持也更完善缺点是多一层环境GPU直通配置需要额外步骤。如果你只是想快速跑起来我建议优先考虑WSL2。如果你坚持原生Windows那就要接受可能遇到更多未知问题。本篇以原生Windows为主线讲因为标题就是Windows环境但我会在关键处标注WSL2的差异。确认完这三件事就可以进入实际安装了。顺序很重要先装驱动再装ROCm运行时最后装Ollama并配置。顺序错了会导致各种找不到设备的报错。3. ROCm运行时在Windows上的安装与验证这一节是整条链路的核心。ROCm装不通后面全白搭。我把安装过程拆成几个关键步骤每一步都说明在干什么以及怎么验证这一步成功了。3.1 安装ROCm运行时用官方安装器还是手动配置Windows下装ROCm官方提供了安装器但实际体验下来安装器有时候会漏装一些组件或者环境变量没配全。我的建议是先用官方安装器装一遍然后手动检查环境变量和关键组件。安装器下载地址在AMD官方ROCm文档的Windows安装章节。下载后运行它会引导你选择安装路径和组件。这里有个选择是否安装完整的开发工具链。如果你只是跑Ollama推理不需要编译自定义算子可以只装运行时Runtime部分省空间也省时间。安装完成后重点检查两个环境变量HIP_PATH和PATH里是否包含了ROCm的bin目录。HIP_PATH指向ROCm安装根目录PATH里要有%HIP_PATH%\bin。这两个没配好后面rocminfo和Ollama都找不到运行时。我实测时安装器把HIP_PATH配上了但PATH里漏了bin目录导致命令行里敲rocminfo提示找不到命令。手动补上之后正常。所以装完一定要手动验证别默认安装器什么都配好了。3.2 用rocminfo验证GPU是否被正确识别rocminfo是ROCm自带的设备信息工具相当于NVIDIA的nvidia-smi。装完ROCm后打开命令行敲rocminfo如果输出里能看到你的显卡型号比如gfx开头的架构标识说明GPU被识别了。RX 9600XT对应的架构标识是某个gfx11xx系列的值具体以你的实际输出为准。如果rocminfo报错常见原因有三个驱动版本不匹配、环境变量没配好、或者显卡不在支持列表里。按这个顺序排查。还有一个工具叫hipInfo也能看设备信息输出格式不太一样可以交叉验证。两个工具都能列出设备基本就稳了。注意rocminfo第一次运行可能会比较慢因为它要初始化运行时。如果卡住超过一分钟可能是驱动或运行时有问题不要干等。3.3 跑一个最小HIP样例确认计算链路通设备识别出来不代表计算链路就通了。有时候rocminfo能看到设备但实际跑计算任务会报错。所以最好跑一个最小的HIP样例验证一下。ROCm安装目录里通常带了一些samples找一个最简单的vector add之类的样例编译运行。如果能在GPU上跑出正确结果说明整条计算链路是通的。这一步很多人会跳过觉得rocminfo能看到就行了。但我实测中遇到过rocminfo正常、实际计算报错的情况原因是某个运行时库版本不对。跑个样例能提前暴露这类问题比等到Ollama跑模型时报错要好排查得多。如果样例编译报错重点看是不是缺了编译器组件。前面如果只装了Runtime没装开发工具链可能编译不了样例。这种情况下可以跳过这步直接进Ollama但心里要有个数计算链路没经过独立验证。4. Ollama的安装与AMD GPU加速配置ROCm通了之后Ollama这边反而相对简单但有几个配置点必须改对否则它默认还是走CPU。4.1 Ollama安装版本选择与安装路径Ollama的Windows安装包直接去官网下就行。版本上建议用较新的稳定版因为AMD GPU支持是逐步完善的老版本可能压根没有AMD的加速路径。安装路径默认在用户目录下一般不用改。但要注意Ollama的模型文件默认存在用户目录的.ollama文件夹里模型动辄几个GB如果C盘空间紧张可以改环境变量OLLAMA_MODELS指向其他盘。这个和GPU加速无关但属于装之前就该规划好的事。安装完成后Ollama会作为后台服务运行。你可以用ollama --version确认安装成功。4.2 让Ollama识别AMD GPU的关键环境变量这是最容易出问题的地方。Ollama默认会优先找NVIDIA的CUDA找不到就退到CPU。要让它走AMD的ROCm需要设置环境变量。关键变量是OLLAMA_LLM_LIBRARY或者相关的后端选择变量具体名称随Ollama版本有变化。较新的版本里Ollama会自动探测ROCm但前提是ROCm的运行时在PATH里能被找到。我实测时的做法是确保ROCm的bin目录在系统PATH里然后重启Ollama服务。重启后跑一个模型看日志里是否出现ROCm相关的加载信息。验证是否吃到GPU的方法跑模型的时候另开一个命令行用rocminfo看GPU占用或者用任务管理器看GPU使用率。如果GPU使用率上去了说明加速生效了。如果GPU一直是0%那还是在用CPU。还有一个更直接的验证方式Ollama启动模型时会打印日志日志里会写明用的是哪个后端。如果看到类似ROCm或gfx的字样就是走GPU了。4.3 实测RX 9600XT上的性能表现与对比配置成功后我拿几个常见模型做了对比测试。测试环境是RX 9600XT对比对象是纯CPU推理。模型规模CPU推理速度GPU加速速度提升幅度7B量化模型约3-5 token/s约25-35 token/s约6-8倍13B量化模型约1-2 token/s约12-18 token/s约8-10倍更大模型基本不可用可用但显存吃紧从不可用到可用这个提升幅度是符合预期的。GPU加速对本地大模型来说不是锦上添花而是从能用到好用的分界线。7B模型在CPU上跑等一个回答要几十秒体验很差上了GPU之后基本能到接近实时对话的水平。显存是另一个关键约束。RX 9600XT的显存容量决定了你能跑多大的模型。量化后的7B模型大概占4-6GB显存13B量化模型要8-10GB。如果你的显存不够Ollama会尝试把部分层放到CPU上速度会掉下来。所以选模型时要看显存不要盲目上大模型。5. 踩坑实录我遇到的那些报错和排查过程这一节是我觉得最有价值的部分因为官方文档不会告诉你这些。我把实际遇到的几个典型问题按排查链路写出来你遇到类似报错时可以对照。5.1 rocminfo找不到设备从驱动版本查到环境变量第一次装完ROCm敲rocminfo报错说找不到任何设备。排查过程是这样的第一步确认显卡在支持列表里——在没问题。第二步检查驱动版本——发现我装的是最新版Adrenalin但ROCm要求的驱动版本比这个旧。这就是问题所在。AMD的新驱动有时候会改动底层接口ROCm还没跟上。解决办法是回退到ROCm推荐的驱动版本。回退之后rocminfo正常识别设备。这个坑的教训是装ROCm之前先查它要哪个驱动版本不要先装最新驱动。顺序反了就要来回折腾。5.2 Ollama跑模型时GPU占用为0后端没切过去ROCm通了Ollama也装了但跑模型时GPU占用一直是0。排查过程先看Ollama日志发现它加载的是CPU后端。原因是Ollama启动时没找到ROCm运行时因为ROCm的bin目录不在系统PATH里只在当前用户的PATH里而Ollama是作为服务启动的读的是系统环境变量。解决办法是把ROCm的bin目录加到系统PATH然后重启Ollama服务。重启后日志里出现了ROCm字样GPU占用也上去了。这个坑的教训是服务类程序读的是系统环境变量不是当前命令行的环境变量。配置环境变量时要确认加到对的地方。5.3 模型加载到一半报显存不足量化等级和上下文长度跑一个13B模型时加载到一半报显存不足。原因是模型本身量化后占8GB多加上上下文缓存超过了显卡显存。解决办法有两个一是换更小量化等级的模型比如从Q4换到Q3二是减小上下文长度。Ollama默认的上下文长度可能比较大调小能省不少显存。这个坑的教训是显存要留余量不要卡着上限选模型。上下文缓存、KV cache这些都要占显存实际占用比模型文件大小要多。5.4 排查思路的通用套路把这几个坑抽象一下排查AMD GPU加速问题的通用顺序是先确认显卡在ROCm支持列表里再确认驱动版本匹配ROCm要求然后确认ROCm运行时环境变量配好用rocminfo验证设备识别确认Ollama能找到ROCm运行时跑模型时看日志确认后端看GPU占用确认加速生效按这个顺序走大部分问题都能定位到具体环节。不要跳步跳步会导致你在错误的方向上浪费时间。6. 让加速更稳的几个进阶调整跑通之后还有一些调整能让体验更好。这些不是必须的但做了之后会明显更顺。6.1 显存与模型选择的平衡策略前面提过显存约束这里给一个更具体的策略。选模型时先看显卡显存容量然后按这个经验值选显存的70%左右是模型量化的安全上限。比如8GB显存选量化后5-6GB的模型比较稳留出空间给上下文和系统。如果非要跑更大的模型可以接受部分层offload到CPU但速度会明显下降。这时候要权衡是跑小模型快还是跑大模型慢。我的建议是优先保证速度因为本地模型的价值就在于响应快、隐私好如果慢到没法用不如用别的方式。6.2 上下文长度对显存的影响Ollama可以通过参数调整上下文长度。默认值可能偏大对显存吃得多。如果你不需要很长的上下文调小能省显存也能让模型加载更快。调整方式是在Modelfile里设置或者通过API参数传。具体值根据你的使用场景定一般对话场景不需要特别长的上下文。6.3 多模型切换时的显存释放Ollama默认会在显存里保留最近用过的模型一段时间方便快速切换。但这会占着显存不放。如果你显存紧张可以设置让模型用完后更快释放。相关参数在Ollama的配置里可以控制模型在显存里的保留时间。设短一点显存释放快但切换模型时要重新加载会慢一些。这是个权衡看你的使用习惯。6.4 监控GPU状态的习惯养成跑模型时开着GPU监控的习惯。Windows下可以用任务管理器的性能标签页看GPU占用也可以用AMD自带的监控工具。看到GPU占用上去了心里才踏实。如果发现占用异常能第一时间察觉。我一般会同时开一个命令行跑rocminfo或者类似的监控命令和任务管理器交叉看。不同工具显示的指标略有差异结合起来判断更准。7. 关于这套方案适用边界的几点个人体会最后说几点我在实际使用中积累的判断不是教程步骤但可能对你决策有帮助。第一Windows下AMD GPU跑Ollama这条路是通的但成熟度确实不如NVIDIA。你要接受可能遇到更多需要自己排查的问题。如果你追求省心NVIDIA显卡在Windows下的体验目前还是更顺。但如果你手里已经有AMD卡不想额外投入那这套方案完全可用。第二ROCm的版本迭代比较快今天能用的配置明天可能因为版本更新出问题。我的建议是一旦配好一套能用的版本组合不要轻易升级驱动或ROCm除非有明确的需求。稳定比新更重要。第三WSL2这条路值得认真考虑。如果你在原生Windows下遇到难以解决的问题切到WSL2往往能绕过很多坑因为ROCm在Linux上的支持成熟得多。多花一点时间配WSL2可能比在原生Windows下死磕更划算。第四显存是硬约束选模型要务实。不要看着大模型眼馋显存不够就是跑不动。小模型量化后在GPU上跑得飞快体验可能比大模型在CPU上慢慢磨要好得多。这套配置我用了有一段时间了日常跑7B到13B的量化模型响应速度完全够用。中间除了前面说的那几个坑没有遇到其他大问题。如果你按这个流程走下来卡在某一步大概率是版本匹配的问题回头检查驱动和ROCm的对应关系基本都能解决。