一、理解你要做的三件事整个流程可以拆成三层推理引擎负责加载模型、执行计算。我们选择Ollama因为它最容易上手。模型文件别人训练好的“大脑”格式通常是.gguf量化后的 GGML 格式或.safetensors。Ollama 会自动帮你下载兼容格式。交互界面前端聊天页面。我们选Open WebUI功能最接近 ChatGPT支持插件、RAG、多模态。这三层彼此独立引擎跑起来模型是它的“插件”界面是它的“外壳”。二、硬件评估显存才是硬通货1. 为什么显存比显卡型号重要模型运行时所有参数和中间计算结果都要放在显存VRAM里。如果显存不够就会溢出到共享内存或硬盘Swap速度暴跌几十倍。所以首要目标是让模型完全装进显存。2. 显存需求怎么算一个粗略公式所需显存 (GB) ≈ 参数量 (B) × 量化位数 (bit) / 8 × 1.2参数量比如 7B 70 亿参数。量化位数FP16未量化是 16 bitQ4_K_M 量化约 4.5 bit。1.2额外开销上下文缓存、KV 缓存等。实例Qwen2.5-7BQ4_K_M 量化7 × 4.5 / 8 × 1.2 ≈4.7 GB。一块 6GB 显存的 RTX 3060 可以轻松胜任。Qwen2.5-32BQ4_K_M 量化32 × 4.5 / 8 × 1.2 ≈21.6 GB。需要 24GB 显存的 RTX 3090/4090。3. 查显存大小Windows任务管理器 → 性能 → GPU → 查看“专用 GPU 内存”。macOS左上角苹果菜单 → 关于本机 → 查看“内存”。M 系列芯片的统一内存同时充当显存。Linux终端输入nvidia-smiN卡或sudo lshw -C display。4. 显存紧张怎么办选更高压缩比的量化比如Q2_K或IQ2。开启部分层卸载到 CPUOllama 会自动做但速度会下降。使用llama.cpp手动指定-ngl参数精确控制卸载层数。开源大模型规模光谱从1B到671B的完整地图规模级别典型参数代表开源模型未量化显存需求 (FP16)4-bit 量化后显存推荐的硬件载体能力表现与典型场景超轻量级(边缘/嵌入式)0.5B - 3BQwen2.5-1.5BGemma-2-2BPhi-3.5-3.8BLlama-3.2-3B1 - 6 GB0.5 - 1.5 GB纯CPU老旧笔记本树莓派5高配Android 手机简单对话、文本润色、信息提取。非常适合在浏览器本地运行或离线翻译。轻量级(消费级入门)7B - 9BQwen2.5-7BMistral-7BLlama-3.1-8BGLM-4-9B14 - 18 GB4 - 6 GBRTX 3060/4060 (8GB显存)MacBook Air (16G M2/M3)游戏本通用助手、日常写作、代码生成、RAG 问答。本地部署的甜点级选择智能足够应付 80% 办公需求。中量级(消费级进阶)13B - 14BQwen2.5-14BPhi-4-14BLlama-3.3-14B28 GB8 - 10 GBRTX 4070/5070 (12GB)MacBook Pro (24-32G M2 Pro)RTX 3090复杂逻辑推理、长文撰写、高级代码重构。能在消费级设备上跑出的较佳智能。重量级(专业/工作站)32B - 35BQwen2.5-32BGemma-3-27BYi-1.5-34B60 GB20 - 24 GBRTX 3090/4090 (24GB)Mac Studio (64G M1/M2 Ultra)服务器级 A100-40G拥有接近 GPT-4 的早期推理能力。非常适合处理严肃的生产力任务和非联网环境下的高难任务。超重量级(个人玩物)70B - 72BQwen2.5-72BLlama-3.1-70BCommand R 104B140 GB40 - 48 GB双路 RTX 3090/4090或 Mac Pro (192G M2 Ultra)A100-80G达到了很高的智能水平。如果你有足够的资源这个级别是能买到的顶配之一。怪兽级(MoE 稀疏专家)141B - 236B(实际激活参数少)DeepSeek-V3 (671B)Mixtral 8x22BQwen2.5-230B庞大极低甚至无需 GPU大容量纯 CPU 服务器海量内存的 Mac Studio极特殊的架构MoE。比如 DeepSeek-V3 总参数虽达 671B但每次推理只激活其中一小部分。只要有足够的内存几百 GB甚至能用纯 CPU 流畅跑。史诗级(科研/探索)405BLlama-3.1-405BDeepSeek-R1 (671B)800 GB200 GB多卡 H100/A100 集群或 Mac Pro 顶配探索 AI 能力的边界。属于国家实验室和大规模 AI 公司的专属消费级硬件目前基本无法承载。需要留意的关键点硬件核心是显存不是显卡有多新运行大模型显存容量是第一道坎。例如10GB 显存的 RTX 3080 跑 7B 模型比 6GB 显存的 RTX 4060 更从容。如果显存爆了推理速度会骤降。MoE 架构是未来的趋势像DeepSeek-V3这种模型总参数量很大但每次只用一小部分让个人用 CPU 也能体验。这正在改变游戏规则。苹果 Mac 有优势苹果 M 芯片M1/M2/M3/M4的统一内存架构允许 CPU 和 GPU 共享大容量显存。一台 64GB 内存的 Mac能直接运行 70B 的 4-bit 量化模型而一块 24GB 的 RTX 4090 反而做不到。个人本地部署的范围目前大多数个人玩家主要部署 7B - 14B 的模型这在消费级显卡上体验已足够好。有工作站的发烧友会尝试 32B - 72B。而DeepSeek这类 MoE 架构模型的出现让普通大内存电脑也能摸到更高阶智能的门槛。结合你的部署流程现在可以这样选型看看你的显卡显存或 Mac 统一内存有多大。对照上面的表格找到对应显存档位。优先选该档位下的“甜点级”模型比如 8GB 显存首选 7B 的 Qwen2.524GB 显存首选 32B。用 Ollama 拉取时直接带量化标签比如ollama run qwen2.5:7b(默认通常是 4-bit 量化)ollama run deepseek-r1:32b(这是 MoE 模型需大内存)ollama run llama3.1:8b-instruct-q4_K_M三、安装 Ollama模型运行的发动机Ollama 是一个轻量级本地推理服务器基于 llama.cpp 封装开箱即用。1. 各系统安装细节Windows从 ollama.com 下载.exe安装包。双击安装默认路径在C:\Program Files\Ollama。安装完成后系统托盘会出现一个羊驼图标说明后台服务已启动。关键步骤设置模型存储路径避免 C 盘爆炸。打开系统设置 → 搜索“环境变量” → 点击“编辑账户的环境变量”。在“用户变量”区域点击“新建”变量名OLLAMA_MODELS变量值D:\OllamaModels你想存放的盘符和文件夹点击确定完全退出并重新登录系统或重启 Ollama 服务右键托盘图标 → Quit再重新打开。验证打开新的 PowerShell 或 CMD输入ollama --version。macOS从 ollama.com 下载.dmg拖入 Applications。首次启动会要求授权同意即可。菜单栏出现羊驼图标即后台服务运行中。修改模型路径终端执行launchctl setenv OLLAMA_MODELS /path/to/your/文件夹然后重启 Ollama 应用。验证终端输入ollama --version。Linuxcurl -fsSL https://ollama.com/install.sh | sh脚本会自动添加软件源并安装。非 systemd 发行版需手动启动服务ollama serve。修改模型路径需编辑 systemd 服务文件或设置环境变量OLLAMA_MODELS。2. Ollama 常用命令ollama list已下载的模型。ollama pull model只下载不运行。ollama rm model删除模型。ollama show model模型详情参数量、量化、模板等。ollama serve手动启动服务器默认后台运行。四、模型选型详解1. Ollama 模型命名规则模型标签格式仓库名:版本-参数量-量化类型例如qwen2.5:7b-instruct-q4_K_Mqwen2.5模型名7b参数 70 亿instruct指令微调版专为对话优化q4_K_M量化方法。Q4_K_M是 llama.cpp 中最推荐的中等压缩级别平衡效果与体积。如果不指定量化标签Ollama 通常会拉取默认的 Q4_K_M 量化。2. 主流开源模型推荐按场景场景推荐模型指令示例中文对话王者qwen2.5:7bqwen2.5:14bqwen2.5:32bollama run qwen2.5:14b通用英文及代码llama3.2:3bllama3.1:8bllama3.3:70bollama run llama3.1:8b超长上下文llama3.1:8b(128K context)ollama run llama3.1:8b数学/逻辑推理deepseek-r1:32bdeepseek-coder-v2:16bollama run deepseek-r1:32b轻量/边缘设备qwen2.5:1.5bphi3:3.8bllama3.2:3bollama run qwen2.5:1.5b多模态图生文llava:13bbakllava:7bollama run llava:13b3. 拉取并运行ollama run qwen2.5:14b首次自动下载。出现即进入对话模式。输入/bye退出。五、搭建网页交互界面Open WebUI 完全指南1. 为什么要用 Docker环境隔离避免 Node.js/Python 版本冲突。一键部署不需要手动处理依赖。易维护删除容器即可彻底清除。2. 安装 Docker Desktop从 docker.com 下载对应系统版本。Windows 安装时会提示启用 WSL2同意并重启。安装后确保 Docker 图标显示为 Running。Linux 直接通过包管理器安装 Docker Engine。3. 启动 Open WebUI 容器docker run -d -p 3000:8080 \ --add-hosthost.docker.internal:host-gateway \ -v open-webui:/app/backend/data \ --name open-webui \ --restart always \ ghcr.io/open-webui/open-webui:main参数解释-d后台运行-p 3000:8080将主机的 3000 端口映射到容器的 8080 端口访问localhost:3000即可--add-host...让容器能通过host.docker.internal访问宿主机的 localhost从而连接 Ollama 服务-v open-webui:/...持久化数据卷保存聊天记录、上传的文件等--restart always开机自启4. 首次配置浏览器打开http://localhost:3000首次需注册管理员账号数据全部存在本地卷中。登录后系统会自动检测到本地运行的 Ollama 服务并在左上角模型列表里显示所有已下载模型。5. 高级功能RAG上传文档问答左侧栏 Workspace → Documents 上传文件然后在聊天框中用#引用文档。Web 搜索设置 → 管理员设置 → 网络搜索 → 启用选择duckduckgo免费或google_pse需 API Key。多模态支持图片输入需搭配多模态模型如llava。API 访问Open WebUI 兼容 OpenAI API 格式可被其他应用调用端点http://localhost:3000/api。6. 不使用 Docker 的替代方案如果不想装 DockerOpen WebUI 源码启动需要 Python 3.11 和 Node.js参考 官方文档。其他图形界面Chatbox全平台客户端极简直接连接 OllamaLM Studio自带界面内置模型下载不依赖 DockerLobe Chat功能丰富支持插件六、性能调优与监控1. 确认 GPU 加速是否生效运行模型时Ollama 默认尝试使用 GPU。查看是否启用ollama run qwen2.5:7b --verbose退出对话后回滚日志中会显示llama_print_timings信息包含 GPU 推理时间。如果prompt eval time和eval time非常慢可能回退到 CPU。2. 强制使用 GPUOllama 自动选择一般无需干预。若想限制可设置环境变量CUDA_VISIBLE_DEVICES0。3. 并发与多用户Ollama 支持并发请求但受限于显存。可通过环境变量OLLAMA_NUM_PARALLEL设置最大并行请求数默认 1。4. 调整上下文长度默认上下文窗口通常是 2048 或 4096。可通过自定义 Modelfile 扩大ollama show qwen2.5:7b --modelfile Modelfile编辑 Modelfile加入PARAMETER num_ctx 8192然后ollama create my-qwen -f Modelfile ollama run my-qwen七、高级部署工具简介工具适用场景核心特色llama.cpp极致优化CPU/GPU 混合纯 C量化格式创建者可自定义每层卸载适合嵌入式设备及研究。vLLM生产级高并发 APIPagedAttention 显存管理吞吐量极高适合对外服务。LM Studio新手图形化远离命令行全图形操作内置模型搜索下载开箱即用。LocalAI一站式本地 AI 平台支持 OpenAI 接口可同时跑模型、TTS、图像生成。八、疑难杂症速查症状诊断思路解决方法下载模型时“connection refused”Ollama 后台服务未启动重新启动 Ollama 应用或终端运行ollama serveollama run报 “pull model manifest: ... not found”网络问题或模型名称错误检查拼写换国内镜像设置OLLAMA_HOST或代理显存不足错误out of memory模型太大选择更小参数量或更高压缩比的模型如qwen2.5:3b回答速度极慢一个字一个字蹦模型跑在 CPU 上ollama run model --verbose查看使用 GPU 情况检查显卡驱动Docker 容器启动失败端口占用或 Docker 服务未运行用netstat -ano | findstr 3000查端口占用改-p 3001:8080Open WebUI 连不上 Ollama网络不通确保容器启动时加了--add-host参数或者 Ollama 监听 0.0.0.0ollama serve前设置环境变量OLLAMA_HOST0.0.0.0中文回答夹杂英文模型中文训练不足换用专门的中英文模型如 Qwen或调整 prompt 要求全中文。Windows 下 Docker 依赖 WSLWSL 未安装以管理员身份运行wsl --install重启。九、三步速成总结装引擎去 ollama.com 下载安装 Ollama。拉模型终端输入ollama run qwen2.5:7b并等待下载。套界面用 Docker 跑 Open WebUI浏览器打开http://localhost:3000。至此你就拥有了一台完全属于自己的、离线的 AI 工作站。之后无论是搭建知识库、处理敏感文件还是开发自己的 AI 应用这个本地环境都是最稳固的起点。顶层分叉你的项目需要跑 AI 大模型或通用操作系统吗这决定了进入有 MMU 的 MPU 世界还是无 MMU 的 MCU 世界。左侧红色 MPU 世界选择指令集x86/ARM/LoongArch和操作系统后根据显存或统一内存大小从 7B 到 671B 的模型规模全谱系都可以本地部署用 Ollama 等工具一站搞定。右侧绿色 MCU 世界联网用 ESP32控制用 STM32入门用 Arduino它们运行裸机或 RTOS专注实时感知与执行。中间的虚线两个世界并非孤立。ESP32/STM32 可以作为大模型的“感官”和“手脚”通过 Wi-Fi 或 CAN 总线把数据传给 MPU 上的 AI 大脑大脑决策后再发回指令形成完整的具身智能闭环。