把“openrig”这个标题拆开看open是开源rig在玩硬件的圈子里通常指一套完整的机器尤其是那种为了特定任务拼起来的工作站或矿机。放到现在这个语境下我理解的openrig就是一整套“本地AI推理工作站”的搭建方案自己选硬件、自己装系统、自己跑大模型整条链路都握在自己手里。它能解决什么问题最直接的就是数据不出内网隐私有保障其次是一次性投入之后跑推理不再按token计费长期用下来成本可控再有就是延迟稳定不管网络环境怎么变本地服务一直在线。这篇文章我会按照自己在实际搭建中走过的完整流程来写从需求拆解、硬件选型、参数计算到软件部署、模型选择、踩坑排查。适合想搭一台本地AI工作站的技术爱好者、独立开发者以及团队里负责内部工具建设的人参考。我不写那种纯理论的东西所有内容都以能落地、能复现为目标。如果你正打算搞一台属于自己的“openrig”这篇文章基本能帮你把坑提前踩一遍。1. 项目定位与整体设计思路1.1 为什么是本地推理而不是全部走云上API前两年大家做AI应用习惯性就是调云端接口省事、上手快不用管硬件。但用久了你会发现几个很现实的问题一是数据隐私业务数据、文档内容发到外部服务很多团队过不了合规这关二是成本API按token计费高频调用一个月下来账单相当可观长期跑批量任务更是一笔持续支出三是稳定性外部服务的可用性、限流策略你控制不了关键时候掉链子很被动。“本地推理”就是把这些问题一次性买断。你花一笔硬件钱换来的是无限的本地推理次数、私有化部署的自由度、以及完全可控的响应速度。openrig这套方案的定位不是要替代云端GPU集群而是补足“个人开发者、小团队、边缘节点”这个中间地带性能要求不是极端高但不能把数据送出内网预算也有限。这是它最合适的应用场景。1.2 先拆需求再定配置别上来就买显卡我见过太多人一上来就问“4090能不能跑”然后买回来发现大部分时间在跑7B小模型浪费算力也浪费电。正确做法是先问自己三个问题第一你主要跑什么任务如果是文本对话、代码补全、文档总结这类LLM任务显存是核心瓶颈显卡的绝对算力反而没那么重要如果你还要跑Stable Diffusion出图那对显卡的算力、显存带宽都提出了更高要求如果你要做长文档RAG那么大内存和CPU性能也不能忽视。第二你的并发量有多大自己一个人用和团队10个人同时用配置需求是两回事。并发上来之后除了显存容量还得多关注显卡的计算吞吐。第三预算范围多少这决定了你是在“入门档”还是“性能档”里选。基于这三个问题我给出一套参考配置分层档位适合场景显卡建议内存建议预估整机成本入门档个人体验跑7B以下模型RTX 4060 Ti 16G / 3060 12G32GB5k-7k进阶档小团队使用跑14B-32B量化模型RTX 4070 Ti Super 16G / 3090 24G64GB1w-1.5w性能档跑32B以上模型或多路并发RTX 4090 24G / 双卡309064GB-128GB2w有人可能会问为什么不上专业卡比如A5000、A6000预算充足当然可以但消费卡性价比高得多。3090二手价格现在很合适24G显存能吃下大多数开源模型缺点是功耗高、散热要吃紧。40系能效更好但显存给得比较抠除了4090之外大显存型号选择不多。这一点后面会展开说。2. 硬件选型与核心参数解析2.1 显存是第一决策变量先学会算模型大小深入讲之前先把这个核心概念聊透。本地跑Transformer模型显存容量基本决定了你“能不能跑”。为什么因为推理的时候模型权重必须驻留在显存里每生成一个token都要把所有参数过一遍。显存不够模型权重就会被换到内存里速度断崖式下跌甚至直接跑不起来。怎么估算模型需要多少显存有一个很简单的公式模型文件大小约等于“参数量 × 每个权重占用的字节数”。比如一个70亿参数的模型如果权重是FP16精度就是7B × 2字节约14GB如果是INT4量化就是7B × 0.5字节约3.5GB。加上推理时的KV Cache和CUDA上下文开销实际至少要在模型文件基础上留30%-50%的余量。所以16G显存的卡跑7B模型的FP16版本差不多刚好卡线而跑4bit量化就可以舒舒服服地留出不少余量。这个行业里最常用的量化格式是GGUF后缀名字带有Q4_K_M、Q5_K_M、Q8_0这一类的就是不同压缩等级。Q4就是把每个权重压缩到4bit体积小、速度相对快牺牲一点精度Q8保留的精度更多体量自然也更大。单纯聊天用Q4就够做代码生成或者需要更严谨输出的时候建议上Q5或者Q8。我的个人习惯是优先选Q5_K_M在体积和效果之间相对平衡。给一张不同显存能跑的模型规模参考表显存容量推荐模型规模量化建议8GB3B-7BQ4量化12GB7B-14BQ4-Q5量化16GB7B-32B7B可FP16大模型用Q424GB32B-70BQ4量化14B以下可Q8注意这里说的是“能跑”实际速度还要看算力。显存一样大旧卡和新卡的推理速度可能差一倍以上。2.2 CPU、内存、主板、供电这些“配角”怎么搭不拖后腿显卡是主角但其他部件选不好体验会很糟。我按优先级排序来说。内存。32GB起步最好是64GB。为什么内存要这么大因为如果你以后想直接加载超过显存容量的模型推理引擎会把部分层放在内存里跑内存小了直接报错或者被系统kill掉。另一个原因是RAG场景下你需要把文档向量化之后放进内存几十个PDF下来内存占用就很可观了。频率方面DDR4 3200或DDR5 4800都可以容量优先于频率。CPU。很多人误以为跑AI要用顶级CPU实际上推理的算力大头在显卡上。CPU的职责是把数据喂给GPU再处理一些tokenizer、采样逻辑。选一颗6核12线程以上、单核性能强一点的CPU就够了比如Intel的i5-13400/14400或AMD的R5 7600系列。但有一种情况CPU确实会成瓶颈当你在跑小模型、且显存带宽又很高的时候CPU负责的prefill阶段可能拖慢整体速度。主板。核心看PCIe通道和供电。单卡其实不太挑主板但你要为未来加第二张卡留余地。B760和B650级别的板子一般能支持双卡x8x8拆分前提是CPU本身提供足够多的PCIe通道。预算稍微宽裕一点建议上一张Z790或X670供电和扩展性更稳。电源。这是最容易省错钱的地方。给你一个靠谱的计算公式整机峰值功耗 显卡TDP 150W系统余量然后在这个基础上加20%-30%冗余。一张3090的TDP是350W加上CPU等算下来650W打不住建议直接上850W金牌。电源千万别省劣质电源在GPU瞬时功耗冲击下可能直接黑屏重启那排查起来才叫绝望。散热。很多人把散热当小事但一台满载400W以上的机器放在你身边风扇噪音是可以让你怀疑人生的。机箱选风道好的中塔机箱前面板能装三个120mm风扇的优先CPU散热器至少双塔风冷显卡就不用说了公版和非公版的散热差异也很大。如果你打算把openrig放在卧室建议做好“书房部署”或者用长线把机器挪到阳台/弱电井的心理准备。3. 软件栈部署与核心环节实现3.1 系统与驱动从零到能跑的最小路径系统选择要尽量避免纠结Windows和Linux都行我的建议是——如果你只是自己用、之后不折腾别的Windows省心如果你打算长期跑服务、做自动化和远程管理请直接上Linux。我自己用的是Ubuntu 24.04 LTS用起来最顺驱动生态和容器支持都跟得上。装系统这一步我给新手一个忠告不要为了“精简”去装各种优化版、精简版系统很多AI推理的玄学问题最后查下来都是系统组件缺失导致的。老老实实用官方镜像选“最小安装”就够了桌面要不要都行纯命令行版的Ubuntu Server反而更省心。驱动这一步最容易出问题的是Windows用户把显卡驱动装成了“Game Ready”NVIDIA和AMD的GPU驱动其实都有专门的稳定分支建议优先选择“Studio Driver”分支。在Linux上相对简单用apt装nvidia-driver-545或560版本然后重启用nvidia-smi验证一下能看到显卡型号和驱动版本就说明驱动正常了。有个坑必须提Linux桌面版Ubuntu在安装过程中可能会自动装上开源的nouveau驱动这会导致后面装NVIDIA官方驱动时冲突。装完系统先把nouveau禁用掉再装官方驱动顺序不能反。怎么检测运行nvidia-smi如果提示“command not found”大概率就是还没装对。3.2 本地推理工具Ollama和LM Studio怎么选现在跑本地模型绕不开两个工具Ollama和LM Studio。两者定位完全不同。Ollama本质是一个开源的模型运行引擎设计思路很极客——一条命令下载模型一条命令起服务暴露标准OpenAI兼容API方便外部程序调用。它非常适合做成后台服务让局域网内多台机器共享。缺点是图形界面基本没有对非技术用户不友好。源码在GitHub上有17万的star模型库覆盖了主流开源模型。LM Studio更像是“带着图形界面的Ollama”你可以在界面里搜索模型、下载、加载、开聊天窗口还带一个本地API Server。对于想快速体验、不愿碰命令行的用户很友好。它的缺点是图形界面占用一些系统资源服务化运维能力也比较弱。我的建议是生产环境用Ollama探索阶段用LM Studio。你可以先装LM Studio玩玩等确定要长跑了配置好Ollama的服务和模型让它常驻后台。Ollama的部署过程很简单一条命令curl -fsSL https://ollama.com/install.sh | sh装完后默认监听127.0.0.1:11434只能本机访问。要让整个局域网都能用需要改环境变量sudo systemctl edit ollama在打开的编辑窗口里写[Service] EnvironmentOLLAMA_HOST0.0.0.0:11434保存后重启服务sudo systemctl restart ollama从这以后局域网里任何一台机器都可以用http://你的主机IP:11434访问这个推理服务。再配合Open WebUI或者NextChat这样的前端一个团队私有的AI对话平台就算建起来了。3.3 模型选择策略从3B到70B各取所需模型怎么选这是一个“看饭下菜”的问题。给一个实用的策略3B-4B级别模型适合干什么轻量任务、移动设备、或者你只需要极快响应且精度要求不高的场景。比如日志分类、简单的意图识别。7B-8B是性价比之王比如Qwen2.5-7B-Instruct、Llama-3.1-8B知识量对于日常对话和文档处理足够16G显存跑4bit量化速度快、体验好。14B-32B是进阶档比如Qwen2.5-14B/32B、GLM-4-9B能力上了一个台阶能处理更复杂的逻辑推理和长文本生成代价是显存需求翻倍。70B级别以上的模型说实话个人工作站跑起来性价比不高除非你有双卡或专业卡否则不推荐。实际操作上用Ollama拉模型就这么简单ollama pull qwen2.5:7b-instruct-q4_K_M这条命令会从模型仓库下载一个约4.7GB的量化模型文件下载完成后就可以跑了ollama run qwen2.5:7b-instruct-q4_K_M进了交互界面直接打字就能对话。退出用/bye。如果你要写代码来调用Ollama已经兼容OpenAI的API格式用Python很顺手from openai import OpenAI client OpenAI( base_urlhttp://localhost:11434/v1, api_keyollama, # 本地服务不用校验但格式上要填 ) resp client.chat.completions.create( modelqwen2.5:7b-instruct-q4_K_M, messages[{role: user, content: 用三句话解释什么是RAG}], temperature0.7, ) print(resp.choices[0].message.content)写到这里要提醒一句参数里的temperature对输出影响很大。写代码、做结构化输出时建议调到0.1-0.3聊天、头脑风暴可以调到0.7-0.9再高就很容易胡编了。4. 常见问题与排查技巧实录4.1 模型加载失败的排查思路这是我被问得最多的一类问题症状通常是ollama run之后一直转圈然后报错或者进程被“killed”。很多人第一时间怀疑是模型下载坏了实际上绝大多数情况是“资源不够被操作系统杀了”。排查用三个命令就够了free -h nvidia-smi dmesg | tail -50先看内存。如果内存本身不足32GB加载大模型很容易被OOM killer干掉dmesg里会有“Out of memory”字样。再看显存占用确认是不是有其他进程占着显存。如果这两个都正常再考虑重下模型文件。错误现象最可能原因处理办法模型加载后被“killed”物理内存不足升级内存或换更小的量化模型报“CUDA error: out of memory”显存被其他程序占用清掉占用进程或换低显存需求模型CPU占用100%速度极慢推理没走GPU检查驱动是否正确安装nvidia-smi是否正常局域网设备访问不到服务只监听本机按上文改OLLAMA_HOST0.0.0.0特别要强调“推理没走GPU”这个坑。驱动装得不干净、或者环境变量有问题时Ollama会静默地退回CPU推理表现就是输出速度极慢。我在实测中纯CPU跑7B模型大概每秒生成5-8个token而一张中端卡能到40-60 token/s差距非常明显。所以在调试阶段务必看一下ollama ps确认模型是加载在GPU上的。4.2 温度和功耗的实测心得跑起来之后你的openrig会变成一个持续发热的“暖炉”。我拿3090实测过待机功耗大概在15-20W风扇不转但满载跑32B模型时整机功耗飙升到500W显卡核心温度85℃左右显存温度甚至能到95℃以上。这个温度对显存来说已经偏高长期跑会影响寿命。解决办法是微调风扇曲线让显卡风扇在70℃时就拉到60%转速虽然吵一点但温度能压回75℃上下。另一个容易被忽略的细节是“24小时常驻推理服务”的功耗账。按上面500W的满载算一天跑4小时一个月大概60度电。对个人来说还好但如果整个团队都把它当默认服务用一个月电费也不是小数目。在部署前建议先想清楚这台机器是我个人专用还是团队共享这决定了你要不要给它做功耗控制。4.3 硬盘和数据备份的容易踩的坑模型文件动不动几个GB下载多了之后系统盘会被填满。我见过有人把Ollama的模型目录放在默认路径下跑一段时间磁盘告警查了半天才发现全是模型文件。解决办法是在装完Ollama之后立刻改模型存储位置sudo systemctl edit ollama写入[Service] EnvironmentOLLAMA_MODELS/data/ollama/models然后把模型搬过去重启服务。尽早规划数据盘空间别指望系统盘那几百GB能扛多久。还有一点是关于配置备份。openrig跑稳定了之后建议把关键配置系统安装步骤、模型清单、环境变量、启动脚本整理成一份文档或脚本存到Git仓库里。本地工作站这东西有个特点一旦出问题重装系统反推恢复的力气比第一次搭建还要大。提前把配置管理好等于是给自己留了一条后路。4.4 扩展性从单卡到双卡需要考虑什么openrig这个名字本身就带着折腾的基因。很多人用一段时间就会想要不要加第二张显卡、跑更大的模型这里要提前说明白双卡并不是简单插上就能用。首先主板要有足够的PCIe通道至少x8x8其次电源要重新核算两张3090的峰值功耗要上千瓦再一个模型并行推理对软件栈要求更高Ollama目前对多卡支持还算可以但跨卡通信会有一定的性能损耗。最佳实践是双卡方案尽量选同型号同显存的两张卡否则显存小的那张会拖累整体。如果只是想要更大的显存总容量来跑超大模型优先考虑买一张24G以上的大显存卡不一定非要双卡。写在最后的一些体会我把openrig跑通前前后后折腾了小半年最大的感受是“本地推理的精髓不是跑出一个惊人的大模型而是拥有一台完全属于自己、随时可以实验的机器”。在这台机器上你可以随便改采样参数、试各种量化方案、做模型间的对比评测不用看API账单脸色也不用担心数据传到外部。这种掌控感是调API给不了的。最后再分享一个小技巧刚把模型跑起来的时候不要急着追求“大模型”先在7B-8B级别把整套链路走通熟悉Ollama的配置、API调用、前端接入这些环节。链路畅通之后再去换更大的模型你会发现自己已经会判断哪个参数影响速度、哪个参数影响效果而不是一头雾水地到处问人。openrig的真正价值不只是那台机器而是你在这个过程里积累下来的判断力和经验。