2026 年聊本地部署绕不开的一个名字仍然是 Ollama。它把“下载模型、装运行环境、启动服务、调用 API”这一整套流程压缩到了几条命令里是目前个人电脑上跑开源大模型最直接的入口。以前想本地体验 DeepSeek、Qwen、Llama 这类模型往往要先折腾 Python 环境、CUDA 版本、模型权重转换很多人还没开始跑模型就先被环境劝退了。Ollama 解决的就是这个最后一公里问题。这篇教程不做空泛的理论铺垫直接按真实使用顺序展开先讲 Ollama 的核心能力、硬件门槛和适用边界然后依次完成下载安装、模型目录修改、模型拉取、命令行对话、API 调用和批量任务测试最后给出资源占用观察方法和一张高频问题排查表。零基础可以完全顺着走一遍已经装过 Ollama 但没玩明白的同学可以重点看第四、七、八、九节。全文实验不依赖顶级显卡。只要有一台能联网的电脑可以先从 CPU 推理的小尺寸模型开始跑通了再考虑 GPU 加速。关于显存占用、GPU 是否加载、响应速度这些观察都会给出具体查看方法不会让你对着黑窗口瞎猜。1. Ollama 核心能力速览维度说明项目类型本地大模型运行与管理工具开源核心功能模型拉取、命令行对话、后台服务、HTTP API、模型包管理默认服务端口11434支持平台Windows、Linux、macOS启动方式安装后自动后台运行也可用ollama serve前台启动推理硬件CPU 可运行NVIDIA/AMD 显卡与 Apple Silicon 会尝试调用 GPU 加速是否支持 API支持REST API 默认开放于 11434 端口上层生态Open WebUI、Dify、AnythingLLM、各类 OpenAI 兼容客户端均可对接硬件门槛门槛较低小尺寸模型 CPU 也能跑大模型才需要大显存适合场景本地模型体验、学习大模型应用开发、隐私敏感数据处理、接口联调这里重点说清楚一件事Ollama 本身不是模型它是一个“模型运行时 模型管理工具”。它负责把模型权重下载下来、加载进内存或显存、提供命令行交互和 HTTP 接口。你向它提问它负责推理你换模型只需要换一个名称和参数不用重新搭环境。这恰恰是大模型应用开发最需要的基础能力。2. Ollama 适用场景与使用边界2.1 适合谁用本地部署 Ollama 的第一类用户是 AI 应用开发者和学习大模型应用开发的人。他们不想每写一个 Demo 就调用云端付费 API也不希望在调试提示词时反复等待网络请求Ollama 提供了一个本地 API完全兼容 REST 调用思路方便和 Python、Node.js 等后端代码集成。第二类用户是数据敏感场景的技术人员。把模型跑在本机文本内容不需要上传到外部服务不存在“数据经过云端接口”的链路。在涉及内部代码、个人文档或保密实验数据时本地推理是一个值得考虑的方案。第三类用户是普通大模型爱好者。不管有没有 NVIDIA 显卡都可以先拉一个 7B 或 8B 级别的小模型在命令行里体验开源模型能力。低成本做一轮横向对比后再决定是否升级硬件。2.2 不适合什么场景Ollama 不适合直接承担高并发生产服务。它没有内置完整的用户鉴权、限流、多租户隔离等能力单机场景下并发能力也很有限。如果目标是给几百上千用户提供在线对话服务需要把它放在应用层之后做网关、负载均衡和推理集群。Ollama 也不适合那些必须要最大参数规模模型的场景。CPU 推理会明显偏慢显卡显存不足时模型加载会失败或者退回 CPU。想舒服地跑 70B 级别模型需要几十 GB 显存或内存这已经超出了普通家用电脑的接受范围。2.3 合规与安全边界本地部署不意味着可以随意使用模型和素材。下载开源模型前建议确认模型自身许可证是否允许商用、是否有附加条款。如果要把模型接入外部工具或开放给局域网访问必须确认接入方的服务条款和数据安全要求。涉及他人代码、隐私文本、人脸声音等素材时需要提前获得授权不能因为模型在本机运行就忽视版权和隐私边界。3. 环境准备与前置条件Ollama 的安装本身并不复杂但环境检查做得好后面能省很多排查时间。建议按下面的顺序逐项确认。3.1 操作系统和终端Ollama 官方支持 Windows、Linux、macOS。Windows 用户推荐 Windows 10/11 的 64 位系统终端可以用 cmd、PowerShell 或 Windows TerminalLinux 用户建议使用常见发行版并确保 curl、tar 等基础工具存在macOS 用户需要注意芯片型号Apple Silicon 和 Intel 在 GPU 加速上有差异性能表现以实际为准。3.2 显卡驱动和 CUDA 检查如果你用的是 NVIDIA 显卡可以先打开终端执行nvidia-smi能正常输出显卡型号和驱动版本说明 NVIDIA 驱动可被系统识别。nvidia-smi输出中的“Memory-Usage”就是实时显存占用后面观察 Ollama 推理时的显存变化会经常用到。如果执行nvidia-smi提示找不到命令需要先安装或更新 NVIDIA 显卡驱动。新一代显卡用户特别注意版本跨度问题驱动太老可能不被新版本 PyTorch 或推理程序识别。AMD 显卡和 Apple Silicon 用户不一定需要nvidia-smi可以查看“关于本机-图形卡”或系统设备管理器来确定硬件型号。3.3 磁盘空间和模型目录规划模型文件体积比较可观。一个常见的中等尺寸开源模型下载后可能占用 4GB 到 10GB 甚至更多。建议在安装 Ollama 之前先规划好一个空间充足的磁盘目录尤其是 Windows 用户系统盘往往比较紧张。假设你想把模型存到 D 盘可以在系统环境变量中新建OLLAMA_MODELSD:\ollama_models这是一个预先减少麻烦的操作。虽然安装后再改也能生效但已经下载好的模型需要手动迁移不如一开始就设置好。3.4 可选Docker 环境如果本机已经熟悉 Docker也可以直接用容器方式运行 Ollama。这对之后的换机迁移和隔离测试更方便。但如果你只是想快速体验不必先装 Docker官方桌面安装包是最省事的路径。3.5 端口检查Ollama 默认监听 11434 端口。如果本机有其他服务占用了这个端口启动后访问会出现异常。可以先检查netstat -ano | findstr 11434Linux/macOS 可以换用ss -lntp | grep 11434如果端口被占用优先释放占用进程或者修改 Ollama 监听地址。4. Ollama 下载安装与服务启动4.1 官方安装包安装Ollama 官网提供了各平台安装包。下载后按照普通软件流程安装即可。Windows 用户也可以尝试使用 wingetwinget install Ollama.Ollama如果 winget 搜索不到不要纠结命令方式直接去官网下载安装包更可靠。macOS 用户下载对应.zip文件解压即可。Linux 用户更推荐在终端安装常见方式是执行官方安装脚本curl -fsSL https://ollama.com/install.sh | sh对一条命令管道交给sh执行不放心可以先下载脚本文件检查后手动执行。执行完成后安装脚本通常会尝试把 Ollama 注册成后台服务。4.2 修改模型存储目录到 D 盘Windows 用户如果希望把模型装到 D 盘而不是系统盘建议在第一次拉取模型前就完成环境变量配置。具体步骤如下右键“此电脑”进入“属性”。点击“高级系统设置”。打开“环境变量”。在用户变量或系统变量中点击“新建”。变量名填OLLAMA_MODELS。变量值填一个实际存在的目录例如D:\ollama_models。保存后关闭所有终端窗口再重新打开。注意环境变量修改后需要重启正在运行的服务或重新打开终端否则不会生效。Linux/macOS 可以在 shell 配置文件中设置同样的变量export OLLAMA_MODELS/data/ollama_models设置完可以先执行ollama list再确认模型目录是否已经切换。4.3 验证服务是否启动安装完成后Ollama 通常会自动在后台运行。浏览器访问http://127.0.0.1:11434如果页面返回类似Ollama is running的文本说明服务正常。如果不方便打开浏览器也可以在终端执行ollama list没有报错且能看到空列表或已有模型列表代表服务可用。若提示“connection refused”说明服务没起来手动启动前台服务ollama serve前台运行会占用当前终端适合用来观察日志。一旦确认服务正常可以再回到后台模式使用。4.4 Docker 方式启动已经把 Docker 作为主力环境的同学可以用镜像启动省去本地环境变量配置的麻烦。以下是一个容器启动模板docker run -d -v ollama:/root/.ollama -p 11434:11434 --name ollama ollama/ollama这个命令把模型数据存放在名为ollama的 Docker 卷中并将容器 11434 端口映射到宿主机。接下来拉取模型时可以进入容器执行docker exec -it ollama ollama run deepseek-r1:7b如果这些命令因为镜像源或网络原因失败请先确认本机网络情况再回到桌面安装方式。4.5 下载慢的常规处理思路很多初学者卡在模型下载环节。如果你在拉取模型时一直卡进度条或频繁超时首先不要反复删掉进程重试Ollama 通常会从断点继续。其次是考虑网络环境差异可以尝试错峰下载、切换更稳定的网络或者检查是否需要配置国内可访问的镜像源。Ollama 支持通过环境变量切换模型下载源例如OLLAMA_BASE_URL但不同镜像源地址更新频繁使用时请以对应镜像服务的文档为准不要盲目照抄旧帖。5. 模型下载与命令行实战5.1 选一个适合起步的模型Ollama 模型命名规则是“模型名:标签”。标签通常表示参数量或量化版本例如deepseek-r1:7b、qwen2.5:7b这类。具体有哪些可用模型以 Ollama 模型库页面为准。第一次尝试建议选 7B/8B 级别的模型CPU 运行压力小下载体积也相对可控。不是所有模型都叫“最新最强”也不是显存越大就一定跑得越快。对零基础用户来说先用小模型跑通整条链路比直接挑战大模型更重要。5.2 拉取模型打开终端执行ollama pull deepseek-r1:7b首次拉取会显示进度条。因为模型体积通常有几个 GB下载时间取决于网速。下载过程中不要强制关闭窗口耐心等待。已下载的模型可以在终端里输入ollama list看到 NAME、ID、SIZE、MODIFIED 等列就说明本地已经有可用模型了。5.3 启动命令行对话拉取完成后直接执行ollama run deepseek-r1:7b第一次运行会加载模型可能等待几秒到几十秒在终端出现提示符后就可以输入问题。例如输入用三句话介绍你自己模型回答后可以继续追问实现多轮对话。输入/bye退出会话。如果忘了有哪些指令输入/help查看。Windows 的 cmd 下如果中文显示乱码可以先执行chcp 65001把代码页切到 UTF-8再启动对话。5.4 一次性文本输入除了交互模式Ollama 也支持通过管道传入单轮文本。这种方式在 Linux/macOS 终端和脚本测试中比较常用echo 用一句话解释什么是 HTTP | ollama run deepseek-r1:7bWindows PowerShell 的管道处理中文可能需要注意编码也可以直接用交互模式或者后面的 Python API 调用。5.5 理解模型加载状态运行模型时可以打开另一个终端执行ollama ps这个命令会列出当前加载进内存或显存的模型。能看到模型名、进程 ID、模型大小和处理器类型。当 Ollama 服务空闲一段时间后模型可能被自动释放ollama ps就不再显示对应条目。6. Ollama 功能测试与效果验证6.1 基础能力测试模型能跑起来后建议做一轮基础功能验证不要只问一次“你是谁”就结束。推荐用几个固定问题测试不同方向中文理解“给我解释一下‘塞翁失马’这个故事的含义控制在 100 字以内。”代码生成“用 Python 写一个函数判断一个字符串是否为回文并解释思路。”结构化输出“把下面这段话概括成三条要点用 Markdown 列表输出。”长文本稳定性“连续写 500 字的产品介绍内容围绕开源社区协作工具。”判断模型是否好用的标准不是每句话都完美而是回答是否通顺、是否围绕主题、是否能输出指定格式。如果你让模型生成 Python 代码建议把代码复制到本地 Python 环境实际跑一遍这是验证代码类能力最可靠的方法。6.2 多轮对话能力测试在ollama run交互模式中连续提问观察模型是否记住上下文。例如先问帮我给一只柴犬取名字要三个候选。它给出候选后再问从里面选一个最符合“活泼”这个性格的名字。如果它能从前一轮候选里选择说明上下文窗口工作正常如果答非所问可能触发了上下文长度限制也可能是模型本身小、理解能力有限。6.3 批量问题验证交互模式下一个个输入问题比较慢。想快速验证模型在一组问题上的表现可以写一个简单的 Python 脚本循环请求 Ollama API。这个脚本对后续大模型应用开发也有直接参考价值先放在这里用import requests import time questions [ 11等于几只回答数字。, 用一句话解释什么是 API。, 用 Python 写一个快速排序函数越短越好。, 把Ollama is running翻译成中文。, ] for i, question in enumerate(questions, start1): response requests.post( http://127.0.0.1:11434/api/chat, json{ model: deepseek-r1:7b, messages: [{role: user, content: question}], stream: False, }, timeout120, ) if response.status_code 200: result response.json() print(f[问题{i}] {question}) print(f[回答] {result[message][content]}) else: print(f[问题{i}] 请求失败: {response.status_code}) time.sleep(1)运行这个脚本前保证 Ollama 服务已经启动且本机已安装了 Python 和requests库。没有requests可以在终端执行pip install requests。7. Ollama 接口 API 与批量任务7.1 为什么 API 很关键命令行适合人工测试但真正的价值在于调用 API。本地大模型一旦通过 HTTP 接口暴露出来就可以接到 Python 脚本、Node.js 服务、Open WebUI、Dify 工作流以及其他 AI 编程工具里。这也是从“能用一个模型”到“能做一次大模型应用开发”的分水岭。7.2 检查服务与本地模型列表先用 curl 确认服务可以访问。在终端执行curl http://127.0.0.1:11434正常情况下会返回服务标识文本。接着查看本地已经拉取过的模型curl http://127.0.0.1:11434/api/tags返回结果是 JSON包含已下载模型的名称、模型 ID、大小和修改时间。这一步可以确认 API 调用路径正确。7.3 对话接口调用示例使用/api/chat接口发送对话请求curl http://127.0.0.1:11434/api/chat -d {\model\:\deepseek-r1:7b\,\messages\:[{\role\:\user\,\content\:\用一句话解释什么是Ollama\}],\stream\:false}在 Windows cmd 里直接写 JSON 转义比较痛苦建议直接用下面的 Python 请求。Python 在构造 JSON 时天然可读import requests payload { model: deepseek-r1:7b, messages: [ {role: user, content: 用 Python 写一个读取本地文本文件并统计词频的脚本} ], stream: False, } response requests.post( http://127.0.0.1:11434/api/chat, jsonpayload, timeout120, ) data response.json() print(data[message][content])stream: False表示等完整回复生成后再返回适合第一次调通接口。流式输出可以减少等待但对编码和解析的要求更高前期测试先关闭流式更稳妥。如果请求失败先检查返回的具体错误信息。例如模型名写错会提示 manifest 不存在模型正在加载时请求会较慢超时则可能需要调大timeout参数。7.4 生成接口调用示例如果只想做单轮文本补全不关心多轮消息结构也可以使用生成接口import requests response requests.post( http://127.0.0.1:11434/api/generate, json{ model: deepseek-r1:7b, prompt: 写一句欢迎语欢迎开发者学习本地大模型部署。, stream: False, }, timeout120, ) print(response.json()[response])这个接口适合简单测试日常更推荐使用带messages结构的对话接口因为它更直观地表达多轮上下文。7.5 OpenAI 兼容端点与上层工具接入Ollama 还提供了一个 OpenAI 兼容端点地址是http://127.0.0.1:11434/v1很多编程工具和开源框架默认支持 OpenAI 协议只需要把 base URL 改成这个地址再把模型名改成你本地已下载的模型即可。例如使用 Python 的openai库from openai import OpenAI client OpenAI( base_urlhttp://127.0.0.1:11434/v1, api_keyollama, # 本地服务不校验真实key但字段必须存在 ) completion client.chat.completions.create( modeldeepseek-r1:7b, messages[{role: user, content: 你好介绍一下你自己}], ) print(completion.choices[0].message.content)这个思路非常重要。当前很多终端编程助手或命令行的 AI 工具都支持类似配置你把 base URL 指向 Ollama 后上层工具就可以调用本地模型。具体到某个工具例如 Opencode 或带 Skill 机制的编辑器插件它们的字段名可能不同有的通过OPENAI_BASE_URL环境变量读取有的写在配置文件中安装哪个版本、用哪个参数建议以该工具的官方 README 为准。本文的价值是帮你先把模型服务跑起来剩下的对接本质上是换一个客户端。7.6 批量任务设计批量任务最怕的不是满不慢而是失败后不知道断在哪里。推荐写一个带日志、计数和延迟的批量脚本。以下是一个可参考的模板import requests import time import json questions [ Python 中 list 和 tuple 的区别是什么, 写一段代码删除列表中的重复元素。, 解释一下 Git 的 rebase 和 merge 区别。, ] output_file inference_results.jsonl model_name deepseek-r1:7b success_count 0 fail_count 0 for index, question in enumerate(questions, start1): try: response requests.post( http://127.0.0.1:11434/api/chat, json{ model: model_name, messages: [{role: user, content: question}], stream: False, }, timeout150, ) if response.status_code ! 200: fail_count 1 with open(output_file, a, encodingutf-8) as f: f.write(json.dumps({index: index, error: response.text}, ensure_asciiFalse) \n) continue answer response.json()[message][content] with open(output_file, a, encodingutf-8) as f: f.write(json.dumps({index: index, question: question, answer: answer}, ensure_asciiFalse) \n) success_count 1 print(f[完成] {index}/{len(questions)}) except Exception as exc: fail_count 1 print(f[失败] {index}, 原因: {exc}) time.sleep(1) print(f统计成功 {success_count} 条失败 {fail_count} 条) print(f结果已写入 {output_file})批量任务注意三点第一不要太快地连续请求小模型避免触发资源峰值第二每条请求之间保留轻微间隔第三每条结果单独写入日志文件避免程序中断后全部结果丢失。能断点续跑比一次跑完更重要。8. 资源占用与性能观察8.1 如何观察显存和内存占用观察 Ollama 资源占用最直接的工具是ollama ps。它会告诉你模型当前是否已加载、使用多大体积、主要跑在 CPU 还是 GPU 上。如果你想看显卡实时利用率在终端执行nvidia-smi观察 Ollama 相关进程的显存占用。Windows 的任务管理器也能看到 GPU 显存曲线但有时多个进程共享显存不易区分还是nvidia-smi更清楚。8.2 CPU 推理和 GPU 推理的差异同一台机器上CPU 推理和 GPU 推理的差别非常大。7B 级别的小模型在 CPU 上也能生成回答但速度会明显慢于显卡加载的情况。在ollama ps的 PROCESSOR 列可以看到到底使用了 CPU 还是 GPU。如果你的显卡没有参与推理但机器有独立显卡通常要先更新驱动然后重启 Ollama 服务再重新pull一个模型并测试。8.3 上下文长度对资源的影响模型加载后占用的资源并不是固定不变的上下文越长占用的显存和内存越高。如果发现模型能加载但生成一段时间后速度下降往往是上下文缓存增长导致资源不足。通过 API 调用时可以在请求中临时指定上下文长度参数。实际上你可以创建一个 Modelfile 来固定运行参数FROM deepseek-r1:7b PARAMETER num_ctx 2048然后执行ollama create my-model -f Modelfilenum_ctx设置得越小显存压力越小但能记住的对话内容也越少。在实际项目中需要根据场景权衡没有固定答案。8.4 降低资源占用的常见方法如果资源紧张优先做四件事换小参数模型、换量化更低的版本、缩短上下文长度、避免同时加载多个模型。不要一边在浏览器开着大模型对话页面一边又用脚本批量请求这会让内存和显存都被叠满。每次只运行一个实验任务能显著降低报错概率。9. Ollama 常见问题与排查方法问题现象可能原因排查方式解决方案ollama list提示 connection refusedOllama 服务未启动检查服务进程与日志执行ollama serve启动或重启服务模型下载速度很慢或卡住网络波动或源不稳定观察进度条是否还在变化重新执行ollama pull必要时配置镜像源或错峰下载ollama run提示 manifest not found模型名或 tag 写错用ollama list查看本地模型到模型库确认正确名称后重新运行模型已经下载但响应速度极慢CPU 模式运行或模型被反复加载执行ollama ps查看处理器更新显卡驱动或使用更小模型GPU 显存不增长驱动不兼容或 Ollama 未识别 GPU执行nvidia-smi确认显卡更新驱动、重启服务必要时升级 Ollama页面或终端中文乱码终端编码不是 UTF-8查看系统代码页Windows 执行chcp 65001后重开窗口API 请求超时模型首次加载耗时过长或负载过高检查ollama ps和日志增加请求 timeout先手动ollama run预热一次11434 端口被占用其他程序占用端口使用 netstat 排查端口修改OLLAMA_HOST为其他端口修改模型路径后不生效环境变量未刷新或服务未重启检查ollama list是否有原模型重启 Ollama 或重启终端排查时记住一个思路先看服务在不在再看模型在不在最后看请求参数对不对。绝大多数新手问题都集中在这三层中的第一层和第二层尤其要留意终端窗口没有刷新导致新环境变量没生效。10. 从 Ollama 到大模型应用开发跑通命令行和 API 后你已经拥有一个本地模型服务。接下来往应用层面走通常会经历三个阶段。10.1 用代码把本地模型封装成助手写一个 Python 模块把模型对话这一动作封装成函数。这样业务代码里不会到处出现 HTTP 细节后续要替换成云端模型服务时只需要改配置。核心思路很简单就是把模型名、请求地址、超时时间这些参数抽出来。import requests class LocalLLMClient: def __init__(self, base_urlhttp://127.0.0.1:11434, modeldeepseek-r1:7b): self.base_url base_url self.model model def chat(self, user_message: str) - str: response requests.post( f{self.base_url}/api/chat, json{ model: self.model, messages: [{role: user, content: user_message}], stream: False, }, timeout120, ) response.raise_for_status() return response.json()[message][content] if __name__ __main__: client LocalLLMClient() print(client.chat(你好请用一句话介绍本地大模型))这类封装是入门大模型应用开发非常自然的一步。以后你可以在类里扩展history参数来维护上下文也可以加入超时重试和日志记录。10.2 接可视化界面和 AI 开发工具本地模型通过 API 暴露后Open WebUI、Dify、AnythingLLM 这类