前言最近可以体验的大模型越来越多但真正折腾起来最先变乱的往往不是模型列表而是客户端里的配置。不同平台有不同的API地址、密钥和模型名称每增加一个渠道就要在聊天工具、知识库和工作流中重新填写一遍。我后来把思路反了过来不再让每个客户端分别连接模型平台而是在自己的绿联NAS上先搭一层统一入口。上游接NVIDIA等模型服务下游的OpenClaw、聊天工具和脚本则统一连接NAS中的代理地址。这套结构里CLI Proxy API并不负责运行大模型。它更像一个位于客户端和模型平台之间的接口网关负责保存上游配置并向客户端提供统一的API地址和调用密钥。以后增加或更换模型渠道时主要调整这一层即可。本文将从绿联NAS的Docker和SSH环境开始使用脚本部署CLI Proxy API再申请NVIDIA API Key将其作为OpenAI兼容上游接入并通过OpenClaw完成一次实际调用测试。局域网链路跑通后还会安装cpolar将CLI Proxy API的管理页面和模型接口映射到公网。由于同一个端口中同时包含管理功能和API入口远程开放前需要先设置独立密钥并保护好NVIDIA原始API Key。1 什么是 CLI Proxy API开源项目地址https://github.com/router-for-me/CLIProxyAPICLI Proxy API本身不是模型也不是某一家厂商的官方接口。你可以把它理解成放在上游模型服务和下游客户端之间的一层统一代理。它的核心作用就是把原本分散的模型入口收口起来对外提供更统一的调用方式。官方 README 里也明确把它定义成一个提供OpenAI / Gemini / Claude / Codex 兼容 API的代理服务。这类工具最有用的地方在于你不用每接一个新模型就去改一遍客户端配置。上游这边可以接 OpenAI、Gemini、Claude也可以通过兼容方式继续接入其他 OpenAI-compatible 平台下游这边不管是聊天工具、脚本、知识库还是工作流只需要对接你自己的统一地址和 API Key 就够了。CLI Proxy API 官方也列出了对兼容客户端和 SDK、多账号访问以及 OpenAI-compatible upstream 的支持。对于个人自用场景来说CLI Proxy API 比较实用的能力主要包括兼容多种接口风格支持 OpenAI、Gemini、Claude、Codex 兼容 API 形式方便不同客户端统一接入。支持 OAuth 登录目前支持 OpenAI Codex 和 Claude Code 等通过 OAuth 方式接入。多账号轮询与负载分担支持部分上游的多账号 round-robin 负载均衡。支持流式输出、工具调用和多模态输入官方 README 列出了 streaming / non-streaming、function calling / tools以及文本和图片输入支持。支持 OpenAI-compatible 上游扩展可以通过配置接入其他兼容 OpenAI 的服务这也是后面接入 NVIDIA 时会用到的关键能力。内置管理页面从较新版本开始Web UI 已经随主程序一起提供可以通过management.html进入管理配置、API Keys、凭据、日志和用量。简单来说CLI Proxy API 更像是你自己的AI 统一入口层。先把它部署到绿联 NAS 上后面再把 NVIDIA 这样的上游接进去整个使用和维护都会轻松很多。2 环境准备安装 Docker 并开启 SSHCLI Proxy API 这套东西后面要靠 Docker 跑起来所以正式开始之前先把绿联 NAS 上的基础环境准备一下。这里不用折腾太多先把两样东西弄好就行一个是 Docker另一个是 SSH。Docker 负责跑服务SSH 则是为了后面方便直接进终端执行部署命令。如果这两项你之前已经配过那这一节可以直接略过往下看部署部分就行。2.1 安装 Docker先进入绿联 NAS 首页打开应用中心:打开之后在里面搜索Docker。找到应用后直接点安装等它装完就可以了:装好之后桌面上会多出一个 Docker 图标说明容器环境已经准备好了:这里我建议顺手点进去看一眼确认 Docker 能正常打开。因为后面 CLI Proxy API 的部署、启动和运行都会用到它。2.2 开启 SSH 并连接到 NASDocker 安装好之后还需要开启 SSH这样后面才能通过终端执行部署命令。首先需要先给绿联NAS开启SSH远程登录功能点击首页的控制面板然后点击终端机图标点击进入点击勾选SSH功能然后点击应用注意SSH密码为登录的密码建议密码一定要设置强密码特别是公网环境下开启完成后在电脑端打开终端工具。Windows 可以直接使用 PowerShell电脑上摁【Win X】键选择终端管理员macOS 和 Linux 则使用系统自带终端即可。然后输入下面的命令连接到你的 NAS# ssh 你的绿联NAS用户名你的绿联NAS访问IP地址sshsusu192.168.50.99连接上绿联NAS的终端后在终端中输入如下命令切换至root用户sudo-i完成以上准备后就可以正式开始部署 CLI Proxy API 了。3 使用一键脚本部署 CLI Proxy API前面的 Docker 和 SSH 都准备好之后接下来就可以正式把 CLI Proxy API 部署到绿联 NAS 上了。如果全程手动去搭前面还得自己建目录、处理权限、准备配置文件再一步步把容器跑起来。为了省掉这些重复操作我这里把部署初期常用的步骤整理成了一个一键脚本直接执行就能把基础环境先跑起来。先在终端里执行下面这条命令curl-fsSLhttps://gitee.com/jun-wan/script/raw/master/cliproxyapi_deploy/cpa_docker_deploy.sh-o/tmp/cpa_docker_deploy.shchmodx /tmp/cpa_docker_deploy.sh/tmp/cpa_docker_deploy.sh执行命令后终端会先进入脚本初始化界面如下图所示这里选择【1】或者直接按回车使用默认配置即可。后面的几个步骤也是一样如果你暂时不打算改默认参数直接一路回车就能继续部署等脚本执行完成后终端里会输出部署结果界面大致如下这时候可以直接复制终端里显示的管理页面登录地址粘贴到浏览器中打开就能进入 CLI Proxy API 的登录页面然后再使用终端输出的管理员账号和密码登录后台进入 CLI Proxy API 的管理界面到这里CLI Proxy API 就已经在绿联 NAS 上成功跑起来了。下一步我们继续完成初始化配置并把 NVIDIA 上游接进来。4 注册登录 NVIDIA 获取API Key前面的步骤只是把 CLI Proxy API 这个统一入口先搭起来接下来才是真正把模型上游接进来。这里我先以 NVIDIA 为例演示如何注册英伟达账号获取 API Key并完成上游接入配置。4.1 注册并登录 NVIDIA 账号英伟达模型页https://build.nvidia.com/前面已经把 CLI Proxy API 部署好了接下来就可以开始准备上游渠道。这里先以 NVIDIA 为例在正式接入之前需要先准备好 NVIDIA 账号并生成后面要用到的 API Key。NVIDIA Build 当前仍提供Get API Key入口用于申请开发测试用的 serverless API。首先打开 NVIDIA Build 页面点击右上角的Login按钮如果你已经有 NVIDIA 账号直接登录即可如果还没有就输入自己的邮箱地址按页面提示继续注册接下来按照页面提示设置密码完成验证校验后点击创建账户创建完成后系统会向你的邮箱发送一封验证邮件。登录邮箱获取验证码按提示完成验证后继续下一步完成邮箱验证后页面通常还会要求补充一些基础资料例如账号名称等按提示填写即可登录完成后如果右上角出现Verify提示再继续按页面引导完成账号验证按提示填手机号进行验证支持国内86的手机号填写验证完成后这个账号就可以继续用来生成 API Key 了验证完成后就搞定啦4.2 获取 NVIDIA API Key账号准备好之后下一步就是生成 API Key。点击右上角头像在菜单中找到API Keys然后进入 Key 管理页面进入后点击Generate API Key按钮先给这个 Key 起一个名字再根据自己的需要选择有效期然后生成即可生成完成后页面会给出一串 API Key。把它复制保存好下一步回到 CLI Proxy API 后台配置 NVIDIA 上游时会用到如下图拿到 Key 之后就可以继续下一步把 NVIDIA 作为上游接入到 CLI Proxy API 中了。5 在 CLI Proxy API 中添加 NVIDIA 上游前面的 NVIDIA 账号和 API Key 都准备好之后接下来就可以回到 CLI Proxy API 后台把 NVIDIA 作为一个OpenAI 兼容上游接进来了。CLI Proxy API 官方文档里也专门提供了OpenAI Compatibility Providers这一类配置方式用来接入兼容 OpenAI 接口风格的模型服务。首先在左侧菜单中找到AI 提供商。然后向下滚动在最下方找到OpenAI 兼容提供商点击右侧的添加提供商按钮。进入添加页面后先给这个提供商起一个名称方便后面区分。然后在Base URL一栏中填写 NVIDIA 的接口地址https://integrate.api.nvidia.com/v1填好后点击右侧的从 /models 获取按钮点击之后程序会尝试从当前填写的 Base URL 拉取可用模型列表。如果没有自动显示出来也可以手动再点一次获取然后全选模型列表点击添加模型添加完成后继续向下滚动到页面底部在API Key的位置填入前面在 NVIDIA 后台生成的密钥。然后任选一个刚刚添加的模型推荐选择gpt-oss-120b先做一次连接测试如果页面提示密钥测试通过说明这条 NVIDIA 上游已经可以正常使用了。确认没有问题后点击底部的保存按钮即可完成添加。到这里NVIDIA 就已经成功接入到 CLI Proxy API 里了。下一步我们再用实际的模型调用测试一下看看这条统一入口是否已经能够正常工作。CLI Proxy API 官方文档也说明OpenAI 兼容提供商最终会通过标准的兼容接口方式进行模型调用。6 接入客户端使用这里以 OpenClaw 为例前面在后台把 NVIDIA 上游测试通过之后其实这套 CLI Proxy API 统一入口就已经能正式拿来用了。后面不管是接 OpenClaw、Hermes、Cherry Studio还是 Open WebUI整体思路都差不多客户端不再直接对接 NVIDIA而是统一走我们刚刚搭好的这套入口。这样做的好处也很直接后面如果你想增加新的模型渠道或者替换某个上游就不用再挨个修改客户端配置了只需要在 CLI Proxy API 这一层调整即可。下面我就以OpenClaw为例实际演示一下客户端该怎么填写地址、API Key 和模型把这套统一入口真正用起来。6.1 获取CLI Proxy API 的调用密钥在把 CLI Proxy API 接入客户端之前先把后面要用到的统一 API Key 复制出来。进入后台后在左侧菜单中找到配置面板然后进入认证配置页面。在这里可以看到当前的API 密钥列表直接复制其中一条密钥即可使用如果你想单独给某个客户端创建新的调用密钥也可以在这里自行新增另外页面下方系统配置中的使用统计开关也建议顺手打开然后点击底部的保存按钮。这样后面在接入客户端并开始调用之后就可以更方便地查看请求记录和使用情况到这里后面接入 OpenClaw 时要用到的CLI Proxy API 统一 API Key就准备好了。6.2 在 OpenClaw 中填写地址和 API Key这里我以本地 Windows 上已经安装好的OpenClaw为例演示一下如何把前面搭好的 CLI Proxy API 统一入口接进去。先在 Windows 的CMD或PowerShell中执行下面这条命令进入 OpenClaw 的配置向导openclaw configure进入配置向导后先选择Local然后进入Model接着选择Custom Provider自定义提供商如下图所示接下来开始填写 CLI Proxy API 的连接信息具体可以按下面的思路来配置API Base URL填写你部署在绿联 NAS 上的 CLI Proxy API 地址并在末尾加上/v1例如http://192.168.50.99:8317/v1API Key填写前面在 CLI Proxy API 后台复制出来的统一 API KeyEndpoint compatibility选择OpenAI-compatibleModel ID填写你前面在 CLI Proxy API 中已经添加成功的模型名称完整填写示例如下图所示这里有两个地方要特别注意第一API Key 填的是 CLI Proxy API 的统一调用密钥不是 NVIDIA 后台生成的原始 Key。第二Model ID 也不要照抄固定示例而是填写你前面在 CLI Proxy API 中实际接入成功的模型名称。当界面中出现Verification successful.提示时就说明当前这组配置已经验证通过。最后选择Continue (Done)保存并退出即可。到这里OpenClaw 就已经成功接入到你自己搭好的 CLI Proxy API 统一入口中了。6.3 在OpenClaw中对话测试一下完成配置后如果当前会话还没有切换到刚刚新增的模型可以先重启一下网关或者直接在网页端修改当前会话使用的模型再发送一次/new重新开启新会话。处理好之后就可以直接开始对话测试了。这里我直接输入下面这段内容进行验证你运行在什么操作系统上当前接入的是什么模型你可以干什么如下图所示可以看到OpenClaw 已经能够正常返回回答而且回复中也识别出了当前接入的模型信息说明前面配置的 CLI Proxy API 统一入口已经生效了。例如这里返回的内容大致如下我运行在 Windows11内部版本10.0.22621 的64位环境上GPU 是 RTX2080Ti。当前使用的模型是ustom‑192‑168‑50‑99‑8317/openai/gpt‑oss‑120b这也是系统默认的模型。 我可以直接在工作区里读取、编辑和创建文件执行 shell 命令调度cron任务搜索并抓取网页内容控制浏览器进行交互管理子会话如代码生成子代理以及使用 TTS、消息发送等工具。还有一些专门的技能coding‑agent、healthcheck、weather 等可以按需调用。有什么需要我帮忙的尽管告诉我到这里就说明 OpenClaw 已经成功通过 CLI Proxy API 接入了前面配置好的 NVIDIA 上游模型。后面无论你是继续接入其他客户端还是再增加新的模型渠道整体思路也都是类似的。7 下载安装cpolar前面这些步骤其实已经把最核心的部分做完了CLI Proxy API 跑起来了NVIDIA 接进来了客户端也能正常调用了。换句话说这套 AI 统一入口在局域网里已经是能直接拿来用的状态。接下来要解决的就是“怎么让它不只局限在家里网络里”。如果你想在公司、咖啡店或者其他外网环境下也能继续访问这套服务那就需要借助内网穿透工具把它映射到公网。这里推荐继续使用cpolar内网穿透。先把 cpolar 安装到绿联 NAS 上后面再把 CLI Proxy API 的页面和接口穿透出去这样就能实现公网访问了。7.1 什么是cpolar?cpolar 是一款内网穿透工具可以将你在局域网内运行的服务如本地 Web 服务器、SSH、远程桌面等通过一条安全加密的中间隧道映射至公网让外部设备无需配置路由器即可访问。广泛支持Windows、macOS、Linux、树莓派、群晖 NAS等平台并提供一键安装脚本方便部署。7.2 安装cpolar前面已经把 CLI Proxy API 部署好了接下来就可以继续在绿联 NAS 上安装 cpolar为后面的公网访问做准备。先回到前面连接绿联 NAS 时使用的 PowerShell 终端执行下面这条命令一键安装 cpolarsudocurlhttps://get.cpolar.sh|sh安装完成后再执行下面这条命令检查 cpolar 服务是否已经正常启动sudosystemctl status cpolar如果终端中显示为active (running)就说明 cpolar 当前已经处于正常运行状态。确认服务启动成功后在浏览器中输入绿联 NAS 的 IP 地址 9200端口就可以访问 cpolar 的 Web UI 管理页面了。可以看到页面能够正常打开就说明 cpolar 已经安装完成并且 Web UI 也可以正常访问。 如果你还没有注册 cpolar 账号也可以直接在页面底部点击入口跳转注册。8 穿透CLIProxyAPI页面以实现公网访问前面把 cpolar 安装好并注册登录之后接下来就可以开始为 CLI Proxy API 创建公网访问地址了。登录 cpolar Web UI 后进入左侧菜单中的隧道管理 隧道列表。然后点击创建隧道新建一条用于访问 CLI Proxy API 的公网隧道创建时先设置一个方便辨识的隧道名称例如cpa。然后按下面的方式填写参数协议选择http本地地址填写 CLI Proxy API 的实际运行端口例如前面部署时使用的是8317这里就填写8317地区这里选择China Top全部填写完成后点击下方的创建按钮创建成功后继续进入状态 在线隧道列表就可以看到刚刚生成的公网访问地址。通常会同时生成两条记录一条是HTTP另一条是HTTPS这里直接复制其中一条公网地址进行访问测试。为了打开 CLI Proxy API 的管理页面记得在公网地址后面拼接/management.html例如https://你的公网地址/management.html如下图所示如果页面能够正常打开就说明这条穿透已经生效了。接下来再输入前面设置好的管理密钥或登录信息测试一下是否能够正常进入后台成功进入 CLI Proxy API 管理页面后就说明这套服务已经不仅能在局域网中访问也可以通过公网地址进行远程管理了。9 固定二级子域名升级任意套餐皆可前面通过 cpolar 创建好公网隧道后其实已经可以从外网正常访问 CLI Proxy API 的管理页面了。不过这里生成的公网地址通常是随机分配的后面如果隧道重建或者地址发生变化客户端里原来填写的访问地址也得跟着修改。如果你希望后面长期稳定使用或者想让客户端尽量做到“配一次就不怎么改”那接下来更推荐再给这条隧道配置一个固定的二级子域名。这样后面无论是自己远程访问还是接给其他工具使用都会更方便一些。首先登录 cpolar 控制台进入预留页面然后选择其中的保留二级子域名。在这里填写好地区、名称以及描述描述可以不填最后点击保存即可https://dashboard.cpolar.com/reserved操作步骤如下图所示保留成功后列表中会新增一条二级子域名记录如我这里设置的为cpatest01。需要注意的是二级子域名是唯一的每个账号最终保留到的名称都不一样请以你自己实际保留成功的名称为准。接下来回到本地 cpolar 管理界面进入左侧菜单中的隧道管理 → 隧道列表找到前面创建好的cpa隧道:点击右侧的【编辑】按钮把域名类型改为“二级子域名”在Sub Domain栏中输入你之前保存好的名称例如cpatest01然后点一下 【更新】更新完成之后接着进入【状态】→【在线隧道列表】就可以看到公网地址由之前随机字符串变成现在固定的二级子域名形式接下来同样记得在公网地址后面拼接/management.html再进行访问测试如果页面能够正常打开并且可以顺利进入 CLI Proxy API 的管理后台就说明这条固定二级子域名已经配置成功了。这样后面无论是你自己远程管理还是让客户端长期使用这个地址都会稳定很多。10 总结完成以上配置后绿联NAS已经承担起一层AI接口网关的作用。NVIDIA负责提供上游模型能力CLI Proxy API负责统一接口和密钥OpenClaw则通过这套统一入口发起实际请求。这套结构带来的最大变化并不是让NAS获得了本地运行大模型的能力而是把原本分散在各个客户端里的模型配置集中到了一个位置。后续继续增加其他兼容上游时可以优先在CLI Proxy API中调整而不需要逐个修改所有客户端。客户端使用的是CLI Proxy API生成的统一调用Key而不是NVIDIA原始API Key。实际使用时建议为不同客户端分别创建密钥。这样某个客户端停止使用或密钥泄露时可以单独撤销不会影响其他设备。通过cpolar将8317端口映射到公网后外部客户端可以使用公网地址加/v1连接这套统一接口在地址后添加/management.html则会进入管理页面。需要特别注意的是这两个入口使用的是同一个服务端口。公开8317端口后公网不仅能够到达模型接口也能够访问管理页面因此不能只保护客户端API Key而忽略后台管理密钥。CLI Proxy API后台可能保存NVIDIA原始Key、统一调用Key、模型配置、调用记录和使用统计。固定二级子域名虽然减少了客户端反复修改地址的麻烦但也让这个入口长期保持不变不应公开发布或随意分享。文章使用的一键部署脚本会以较高权限执行下载和部署操作。长期使用前应检查脚本内容、容器镜像版本、配置目录和数据持久化位置并备份关键配置避免更新或重新部署后丢失上游和密钥信息。NVIDIA能够提供哪些模型、API Key是否有效、额度如何计算都可能随账号和平台规则变化。从/models中看到模型名称只是第一步仍应通过实际请求日志、返回模型ID和上游响应验证调用链路。OpenClaw等客户端显示“验证成功”说明当前地址和密钥能够完成一次连接但不代表所有参数、工具调用和多模态能力都与其他OpenAI兼容服务完全一致。不同模型仍需分别测试流式输出、上下文长度、工具调用和错误处理。把模型入口统一起来之后真正节省的是后续维护成本。NAS负责保存自己的配置入口客户端只认一个地址至于上游选择、额度管理和模型效果仍然可以根据实际需求继续调整。