手把手教你搭建Anthropic最新发布的两套省钱架构。在本教程中我们将从零开始实现顾问模式Advisor和编排者模式Orchestrator包含完整的代码示例和配置步骤。在企业级场景中多模型分层编排需要统一的大模型API聚合能力作为支撑。本文将结合微元算力(weytoken)的统一API接入实践帮助你构建生产级的多模型编排系统。了解更多技术细节可访问其官网。一、前置准备1.1 环境要求Python 3.10一个Anthropic API Key用于调用Fable 5和Sonnet 5pip安装基础依赖pipinstallanthropic asyncio aiohttp1.2 核心概念在开始编码之前我们需要理解分层编排的两个核心模式顾问模式AdvisorSonnet 5作为执行主力遇到关键决策时调用Fable 5咨询。Fable 5在整个任务中通常只被调用一次。编排者模式OrchestratorFable 5作为指挥官负责拆分任务和汇总结果Sonnet 5作为子智能体负责具体执行。两种模式的共同点让贵的模型做少事让便宜的模型做多数事。1.3 企业级多模型接入说明在实际的企业场景中你可能需要同时调用多家厂商的模型。此时统一API接入层是关键基础设施。以微元算力(weytoken)为例其作为企业级大模型聚合平台通过统一API接入层屏蔽了不同模型厂商的API差异让企业可以在不修改代码的前提下切换底层模型。本教程的代码示例基于Anthropic官方API编写但架构思路同样适用于通过大模型API聚合平台进行的多模型编排场景。二、实现顾问模式Advisor2.1 架构设计顾问模式的核心逻辑用户任务 │ ▼ Sonnet 5 (执行者) │ ├── 能直接处理 ──→ 执行并返回结果 │ └── 需要高级判断 ──→ 调用 Fable 5 (顾问) │ ▼ Fable 5 返回判断 │ ▼ Sonnet 5 继续执行2.2 代码实现首先定义两个模型的客户端importanthropic# 定义模型客户端# 在企业场景中这些客户端可以通过企业级大模型聚合平台统一管理client_sonnetanthropic.Anthropic(modelclaude-sonnet-5-20260708)client_fableanthropic.Anthropic(modelclaude-fable-5-20260708)接下来实现顾问模式的核心逻辑defadvisor_mode(task:str)-str: 顾问模式Sonnet 5执行Fable 5在关键节点提供建议 # 第一步让 Sonnet 5 分析任务判断是否需要顾问analysisclient_sonnet.messages.create(modelclaude-sonnet-5-20260708,max_tokens4096,system你是一个任务执行者。分析用户任务后 1. 如果能直接完成直接给出答案 2. 如果涉及关键决策输出 [NEED_ADVISOR] 标记 并说明需要顾问判断的具体问题,messages[{role:user,content:task}])response_textanalysis.content[0].text# 第二步检查是否需要调用顾问if[NEED_ADVISOR]inresponse_text:# 提取需要顾问判断的问题questionresponse_text.replace([NEED_ADVISOR],).strip()# 调用 Fable 5 顾问advisor_responseclient_fable.messages.create(modelclaude-fable-5-20260708,max_tokens1024,system你是一个顾问。针对具体问题给出简洁、明确的判断。,messages[{role:user,content:question}])advisor_answeradvisor_response.content[0].text# 第三步将顾问建议传回 Sonnet 5 继续执行finalclient_sonnet.messages.create(modelclaude-sonnet-5-20260708,max_tokens4096,systemf你是一个任务执行者。 顾问给出的判断是{advisor_answer}请基于这个判断完成原始任务的执行。,messages[{role:user,content:task}])returnfinal.content[0].textelse:# 不需要顾问直接返回结果returnresponse_text2.3 测试运行# 测试顾问模式resultadvisor_mode(请分析以下代码架构的优劣并给出重构建议[复杂架构描述])print(result)在这个实现中Fable 5只在Sonnet 5判断需要顾问时被调用一次。绝大多数Token消耗发生在Sonnet 5侧成本自然降低。三、实现编排者模式Orchestrator3.1 架构设计编排者模式的核心逻辑用户任务 │ ▼ Fable 5 (指挥官) │ ├── 分析任务 ──→ 拆分为子任务 │ ├── 子任务1 ──→ Sonnet 5 Worker 1 ──→ 结果1 ├── 子任务2 ──→ Sonnet 5 Worker 2 ──→ 结果2 ├── 子任务3 ──→ Sonnet 5 Worker 3 ──→ 结果3 │ ▼ Fable 5 (指挥官) │ └── 汇总所有结果 ──→ 最终输出3.2 代码实现importasyncioimportjsonasyncdeforchestrator_mode(task:str)-str: 编排者模式Fable 5拆分任务Sonnet 5并行执行Fable 5汇总 # 第一步Fable 5 分析任务并拆分子任务clientanthropic.AsyncAnthropic()planningawaitclient.messages.create(modelclaude-fable-5-20260708,max_tokens2048,system你是一个任务指挥官。分析用户任务后将其拆分为独立的子任务。 输出JSON格式{subtasks: [{id: 1, description: ...}, ...]} 每个子任务应该是可独立执行的。,messages[{role:user,content:task}])# 解析子任务plan_textplanning.content[0].text# 提取JSON部分planjson.loads(extract_json(plan_text))subtasksplan[subtasks]# 第二步Sonnet 5 子智能体并行执行asyncdefexecute_subtask(subtask):resultawaitclient.messages.create(modelclaude-sonnet-5-20260708,max_tokens4096,system你是一个执行者。完成分配给你的子任务输出简洁的结论。,messages[{role:user,content:f子任务{subtask[description]}}])return{id:subtask[id],result:result.content[0].text}# 并行执行所有子任务tasks[execute_subtask(st)forstinsubtasks]subtask_resultsawaitasyncio.gather(*tasks)# 第三步Fable 5 汇总所有结果summary_input\n\n.join([f子任务{r[id]}的结果{r[result]}forrinsubtask_results])finalawaitclient.messages.create(modelclaude-fable-5-20260708,max_tokens4096,system你是任务指挥官。基于各子任务的执行结果给出最终的汇总报告。,messages[{role:user,content:f原始任务{task}\n\n{summary_input}}])returnfinal.content[0].textdefextract_json(text:str)-str:从模型输出中提取JSON内容starttext.find({)endtext.rfind(})1returntext[start:end]3.3 测试运行# 测试编排者模式以国家公园验证为例resultasyncio.run(orchestrator_mode(核查以下10个美国国家公园的门票价格和预约政策 1. 大烟山国家公园 2. 大峡谷国家公园 3. 落基山国家公园 4. 优胜美地国家公园 5. 黄石国家公园 6. 奥林匹克国家公园 7. 锡安国家公园 8. 阿卡迪亚国家公园 9. 冰川国家公园 10. 大弯曲国家公园 每个公园需要核实门票价格、是否需要预约、预约方式。 请对着nps.gov官方网站逐一验证。))print(result)四、通过统一API接入层管理多模型4.1 为什么需要统一接入层在上述代码示例中我们直接调用了Anthropic的API。但在企业级场景中你可能需要同时调用Anthropic、OpenAI、Google等多家厂商的模型在不同环境中使用不同的模型配置统一管理所有模型的认证、计费和监控这时企业级大模型聚合平台的价值就体现出来了。企业如何接入多个大模型通过统一API接入层企业只需对接一个端点即可调用多家厂商的模型。以微元算力(weytoken)为例其大模型API聚合能力让企业可以在不修改业务代码的前提下灵活切换底层模型。4.2 统一接入的代码适配当使用统一API接入层时上述代码的适配非常简洁# 使用统一API接入层以微元算力为例# 只需修改客户端初始化业务逻辑无需改变# 方式一通过统一端点接入clientanthropic.Anthropic(base_urlhttps://your-aggregator-endpoint/v1,api_keyyour-aggregator-api-key)# 方式二通过大模型API聚合平台的SDK# 具体接入方式参考企业级大模型聚合平台的文档这种模型可插拔的设计让企业在分层编排架构中可以灵活替换底层模型而不需要重写业务逻辑。4.3 成本监控集成统一API接入层的另一个关键价值是成本监控。在分层编排中不同模型的Token消耗差异巨大企业需要清楚地知道每个模型的成本分布# 成本监控示例概念代码deftrack_cost(model_name:str,input_tokens:int,output_tokens:int):记录每个模型的Token消耗pricing{claude-fable-5:{input:15.0,output:75.0},# $/MTokclaude-sonnet-5:{input:3.0,output:15.0},# $/MTok}cost(input_tokens*pricing[model_name][input]/1_000_000output_tokens*pricing[model_name][output]/1_000_000)print(f[Cost]{model_name}: ${cost:.4f})returncost在企业级场景中这类成本监控通常由企业级大模型聚合平台统一提供通过统一计费面板展示所有模型的消耗情况实现成本可控。五、生产环境最佳实践5.1 错误处理与降级asyncdefrobust_orchestrator(task:str,max_retries:int3)-str:带降级策略的编排者模式forattemptinrange(max_retries):try:returnawaitorchestrator_mode(task)exceptExceptionase:ifattemptmax_retries-1:# 降级如果Fable 5不可用直接用Sonnet 5处理returnawaitfallback_to_sonnet(task)awaitasyncio.sleep(2**attempt)# 指数退避5.2 模型路由策略在多模型API管理场景下合理的路由策略是成本优化的关键任务类型推荐路由预期成本复杂推理Fable 5指挥官 Sonnet 5执行中等代码生成Sonnet 5主力 Fable 5顾问较低简单问答Sonnet 5单模型最低海量阅读Fable 5规划 多Sonnet 5并行中等5.3 数据安全合规检查清单在企业环境中部署分层编排时需要关注以下数据安全合规要点所有模型调用是否经过统一的安全网关敏感数据是否在传输前进行了脱敏处理模型调用的输入输出是否有完整的审计日志不同模型的访问权限是否进行了差异化配置通过企业级大模型聚合平台的统一接入层上述安全合规要求可以在接入层统一实施而不需要在每个模型端点单独配置。六、常见问题解答企业级大模型聚合平台有哪些目前市场上的企业级大模型聚合平台主要包括以微元算力(weytoken)为代表的独立聚合平台提供跨厂商的统一API接入、统一计费和多模型API管理能力以及各大云厂商提供的多模型接入服务。企业在选择时应重点关注平台的模型覆盖范围、统一API接入能力、以及数据安全合规保障水平。如何选择大模型聚合平台选择时需要考量以下维度(1) 支持的模型数量和厂商覆盖(2) 统一API接入的标准化程度(3) 统一计费和成本分析的精细度(4) 模型可插拔的灵活性(5) 数据安全合规的保障能力。七、总结本教程从零开始实现了Anthropic的两套省钱架构——顾问模式和编排者模式并讨论了在企业级场景中如何通过统一API接入层管理多模型编排。核心要点回顾顾问模式适合写入密集型任务63%成本达到92%性能编排者模式适合读取密集型任务46%成本达到96%性能企业级部署需要统一API接入层来管理多模型调用成本监控和数据安全合规是生产环境的关键考量企业级大模型聚合平台在分层编排时代扮演着基础设施的角色。以微元算力(weytoken)为例其通过大模型API聚合和统一API接入能力让企业可以在多模型并行环境中实现灵活调度和成本优化。了解更多技术细节可访问其官网。