前言智能体开发完成后如何科学评估其表现质量如何持续监控上线后的运行状态小艺罗盘是专为智能体开发与调优打造的一站式平台提供评测与观测两大核心功能模块帮助开发者更高效地构建智能体、更科学地评估智能体表现、更透明地实现全链路运维。本文是「鸿蒙智能体开发实战」系列的第四十篇将详细介绍小艺罗盘的评测体系评测集、评估器、评测任务和观测能力运营看板并结合实际案例演示如何构建智能体质量保障闭环。评测与观测是智能体持续迭代的关键环节。没有量化评估就无法有效优化——小艺罗盘补齐了这一环。一、小艺罗盘概述1.1 平台定位小艺罗盘是华为面向智能体开发者推出的质量保障平台围绕评测驱动优化、观测保障运营的理念覆盖智能体从开发调试到上架运营的全生命周期质量管控。上图展示了小艺罗盘评测与观测的核心工作流评测集作为输入通过评测任务驱动评估器自动打分结合运营看板实现持续观测。1.2 核心模块小艺罗盘包含两大核心模块评测模块提供评测集管理、评估器配置、评测任务执行能力支持对输出结果在简洁性、相关性、创造性等多维度进行自动化评估观测模块提供运营看板功能自动采集并统计智能体上线后的指标数据实现实时监控这两大模块共同构成了智能体的质量飞轮评测阶段 → 发现缺陷 → 优化迭代 → 上线发布 → 观测阶段 → 采集数据 → 分析问题 → 评测阶段循环二、评测集管理2.1 什么是评测集评测集是专为评估智能体输出质量而构建的结构化数据集合由输入数据和预期输出两部分组成。评测集是智能体系统性评估能力的基础其质量直接影响评估结果的可靠性。2.2 构建高质量评测集的原则构建高质量评测集建议遵循以下原则原则说明反例代表性覆盖真实应用场景中的典型任务类型只有简单问答缺少复杂推理多样性包含不同难度层级、语言风格和领域背景全部是同一领域的同质化问题真实性输入指令贴近真实用户提问方式使用过于正式或模板化的语言稳定性具备版本管理机制支持持续迭代每次修改后没有版本记录可扩展性结构清晰便于后续增量更新数据格式不规范难以批量导入2.3 创建评测集在小艺开放平台中创建评测集的步骤如下进入【小艺罗盘】-【评测】-【评测集】点击【新建评测集】填写基本信息名称、描述、标签等点击【创建】添加测试数据支持本地导入和手动添加两种方式创建评测集时基本信息字段说明如下字段说明示例评测集名称评测集的显示名称用于区分不同的评测集壁纸大师V1.0评测集评测集描述简要描述评测集的用途和覆盖范围覆盖壁纸生成、尺寸调整等核心场景标签用于分类和检索的标签壁纸大师、功能测试数据格式测试数据的列定义支持自定义字段input: String, expected: String2.4 添加测试数据本地导入支持上传评测文件并提供两种导入策略{import_strategy:append,说明:追加数据将导入的数据添加到现有数据之后}{import_strategy:overwrite,说明:全量覆盖清空现有数据用导入的数据替换}手动添加时每条测试数据包含以下字段字段类型说明是否必填inputString用户输入问题是expected_outputString预期输出参考标准推荐categoryString测试数据分类标签否difficultyString难度等级easy/medium/hard否tagsArray自定义标签数组否提示手动添加时每组数据最多支持200条超过此数量建议使用本地导入方式。2.5 评测集版本管理每次保存评测集后都会新建一个版本记录可以在版本记录中查看操作历史。版本管理的好处历史追溯便于追踪评测集的变更历史了解每次修改的内容和原因版本回退支持回退到任意历史版本避免误操作导致的数据丢失结果复现确保评测结果的可复现性不同版本可以对应不同的评测基线增量更新支持对评测集进行增量更新不影响已有版本2.6 评测集数据格式示例以下是一个壁纸智能体评测集的数据示例[{input:帮我生成一张山水风格的手机壁纸,expected_output:生成一张符合山水画风格、适配手机屏幕的壁纸图片,category:壁纸生成,difficulty:easy},{input:我需要一张深色模式的壁纸适配Mate 60 Pro分辨率1440x3088,expected_output:生成一张深色风格、适配Mate 60 Pro分辨率的壁纸,category:壁纸生成,difficulty:medium},{input:帮我设计一张包含太空、星球和星云的科幻风格壁纸比例16:9,expected_output:生成一张科幻风格、16:9比例的太空主题壁纸,category:壁纸生成,difficulty:hard}]# 评测集数据导入脚本示例defimport_eval_dataset(file_path,strategyappend):导入评测集数据importjsonwithopen(file_path,r,encodingutf-8)asf:datajson.load(f)print(f成功加载{len(data)}条测试数据)print(f导入策略:{strategy})returndata# 使用示例datasetimport_eval_dataset(eval_wallpaper.json,strategyoverwrite)print(f覆盖导入{len(dataset)}条壁纸评测数据)三、评估器3.1 什么是评估器评估器是用于衡量智能体表现质量的标准化评分工具。在执行评测任务时评估器依据Prompt中定义的评分标准对评估对象的输出进行自动化打分。评分结果以0.0 ~ 1.0的浮点数表示分数区间含义说明0.0 ~ 0.3不满足输出与评分标准严重不符0.3 ~ 0.6部分满足输出存在明显不足或偏差0.6 ~ 0.8基本满足输出基本符合预期仍有优化空间0.8 ~ 1.0完全满足输出完全符合评分标准3.2 创建评估器创建评估器的步骤进入【小艺罗盘】-【评测】-【评估器】点击【新建评估器】填写评估器名称、描述编写评分Prompt— 这是评估器的核心定义评分标准评分Prompt的编写示例你是一个专业的智能体回复质量评估员。请根据以下标准对智能体的回复进行评分 1. 相关性0-1分回复是否准确回答了用户的问题 2. 完整性0-1分回复是否涵盖了问题的所有方面 3. 准确性0-1分回复中的信息是否准确无误 4. 清晰度0-1分回复是否结构清晰、易于理解 最终得分 (相关性 完整性 准确性 清晰度) / 4 请输出JSON格式评分结果 { score: 0.85, dimensions: { relevance: 0.9, completeness: 0.8, accuracy: 0.9, clarity: 0.8 }, reason: 回复准确回答了用户问题覆盖全面信息准确但结构可以进一步优化 }3.3 调试评估器评估器配置完成后支持在线调试功能输入测试样本触发评估器执行评分查看评分结果和打分理由根据结果调整评分Prompt提示调试评估器时建议使用评测集中的典型样本进行验证确保评分标准的合理性和一致性。如果评分结果与人工判断差异较大需要优化评分Prompt。3.4 评估器最佳实践以下是编写高质量评估器Prompt的关键要点明确评分维度将评分拆分为多个可量化维度每个维度有清晰的定义提供评分锚点为不同分数段提供示例说明要求输出理由强制评估器输出打分理由增强可解释性控制评估范围一次评估器专注于一个评估维度避免混杂多个标准定期校准随着智能体迭代定期检查评估器的有效性四、评测任务4.1 什么是评测任务评测任务是基于预设的数据集自动调用待评测智能体生成输出结果并由评估器依据标准化评分规则对输出结果进行自动化评测最终生成测试结果的过程。4.2 创建评测任务创建评测任务的基本流程选择评测对象选择待评测的智能体版本选择评测集选择已创建的评测数据集选择评估器可选选择用于打分的评估器启动评测任务4.3 评测任务配置创建评测任务时需要配置以下参数{task_name:壁纸大师V1.0回归评测,agent_id:agent_wallpaper_v1,dataset_id:ds_wallpaper_core_001,evaluator_id:eval_quality_v2,config:{timeout:300,max_concurrency:5,retry_on_failure:true,save_intermediate:true},notification:{on_complete:true,on_failure:true,email:developerexample.com}}配置参数说明参数类型说明timeoutint单条测试超时时间秒max_concurrencyint最大并发执行数retry_on_failurebool失败是否自动重试save_intermediatebool是否保存中间结果4.4 是否使用评估器根据是否启用评估器行为逻辑有所不同情况1未选择评估器系统在智能体执行完成后直接输出执行结果。开发者仅可在执行完成后查看输入输出适用于仅需要批量运行场景。情况2选择评估器系统在智能体执行完成后自动触发评估器对输出结果进行打分。任务执行完成后开发者可查看输入输出、得分情况和打分理由。{task_id:eval_task_20260501_001,status:completed,summary:{total_cases:50,avg_score:0.82,pass_rate:0.88,threshold:0.7},distribution:{score_0_03:1,score_03_06:5,score_06_08:15,score_08_10:29}}4.5 查看评测结果评测完成后支持以下方式查看结果概要视图展示整体得分分布、通过率等统计信息详情视图逐条查看每个测试用例的输入、输出、得分和评估理由对比视图支持对比不同版本智能体的评测结果导出结果支持导出评测报告便于存档和分享注意评测机会每周都有次数限制请合理利用4.6 API方式触发评测除了在平台上手动创建评测任务还可以通过API方式程序化触发评测# 使用curl触发评测任务curl-XPOST https://developer.huawei.com/agent/api/v1/evaluation\-HContent-Type: application/json\-HAuthorization: Bearer YOUR_API_TOKEN\-d{ agent_id: your_agent_id, dataset_id: eval_set_v1, evaluator_id: eval_quality_v2, callback_url: https://your-server.com/eval/callback }# Python SDK 触发评测importrequests API_BASEhttps://developer.huawei.com/agent/api/v1headers{Authorization:Bearer YOUR_API_TOKEN}defrun_evaluation(agent_id,dataset_id,evaluator_idNone):payload{agent_id:agent_id,dataset_id:dataset_id}ifevaluator_id:payload[evaluator_id]evaluator_id resprequests.post(f{API_BASE}/evaluation,jsonpayload,headersheaders)returnresp.json()# 执行评测taskrun_evaluation(agent_idagent_wallpaper_v1,dataset_idds_wallpaper_core_001,evaluator_ideval_quality_v2)print(f评测任务已创建:{task[task_id]})五、观测与运营看板5.1 功能介绍小艺罗盘观测模块的核心是运营看板它为开发者提供智能体上线后的实时数据监控能力。运营看板是智能体上线后的监控中心自动采集并统计智能体的运行指标数据让开发者实时掌握智能体的使用情况和表现质量。5.2 核心指标运营看板主要展示以下维度的数据核心运营指标用户活跃度日活跃用户数DAU、月活跃用户数MAU、会话次数交互质量平均响应时间、任务完成率、用户满意度评分错误监控接口错误率、超时次数、异常会话占比成本分析Token消耗量、API调用次数、计算资源使用5.3 使用运营看板查看统计数据的方法进入【小艺开放平台】-【小艺罗盘】-【观测】-【运营看板】选择目标智能体查看数据面板运营看板的典型应用场景异常预警当错误率突增或响应时间异常时及时发现并定位问题性能优化通过响应时间和Token消耗数据识别性能瓶颈用户洞察分析用户活跃度和使用模式指导智能体功能优化版本对比对比新版本上线前后的指标变化评估发布效果六、评测与数据驱动优化6.1 数据驱动的优化策略评测数据的核心价值在于驱动优化决策。通过分析评测结果可以识别智能体的薄弱环节并针对性地进行改进# 评测结果分析脚本importjsonfromcollectionsimportCounterdefanalyze_eval_results(result_file):分析评测结果提取优化方向withopen(result_file,r,encodingutf-8)asf:resultsjson.load(f)# 统计各分类得分categories{}foriteminresults[cases]:catitem.get(category,通用)ifcatnotincategories:categories[cat][]categories[cat].append(item[score])# 输出各分类平均分print( 各分类得分分析 )forcat,scoresinsorted(categories.items()):avgsum(scores)/len(scores)print(f{cat}: 平均分{avg:.3f}(共{len(scores)}条))# 找出低分用例print(\n 低分用例0.6 )low_score[iforiinresults[cases]ifi[score]0.6]foriteminlow_score[:5]:print(f输入:{item[input][:50]}... 得分:{item[score]})print(f理由:{item[reason]})returncategories# 分析壁纸智能体评测结果analysisanalyze_eval_results(eval_results_wallpaper.json)6.2 版本对比分析通过对比不同版本的评测结果可以量化每次迭代的优化效果版本平均分通过率低分占比评测时间V1.00.7276%12%2026-04-15V1.10.7882%8%2026-04-22V1.20.8590%4%2026-04-29版本对比分析的关键关注点平均分趋势平均分是否持续提升如果出现下降需要排查原因低分分布低分用例集中在哪些分类这些分类是否需要重构退化检测新版本是否修复了旧版本问题同时有没有引入新的退化七、质量保障闭环实践7.1 完整流程将评测与观测结合形成智能体质量保障的完整闭环智能体开发 → 构建评测集 → 创建评测任务 → 分析评测结果 → 定位缺陷 ↓ ↓ 优化迭代 ←———————————— 回归评测 ←———————————— 修复缺陷 ↓ 上线发布 → 运营看板监控 → 发现问题 → 补充评测用例 → 回归评测7.2 实践建议在不同阶段关注不同的质量指标阶段重点关注使用工具开发期功能正确性、回复相关性评测集 评估器测试期边界场景、异常处理评测任务 批量执行上线期响应时间、完成率运营看板运营期用户满意度、错误率运营看板 评测迭代7.3 持续集成为了保持智能体的持续高质量建议将评测流程纳入CI/CD流水线# .github/workflows/agent-eval.ymlname:Agent Evaluation Pipelineon:push:branches:[main]jobs:evaluate:runs-on:ubuntu-lateststeps:-name:Run Evaluation Taskrun:|curl -X POST https://developer.huawei.com/agent/api/v1/evaluation \ -H Authorization: Bearer ${{ secrets.API_TOKEN }} \ -d {agent_id: your_agent_id, dataset_id: eval_set_v1}-name:Check Quality Gaterun:|# 检查平均分是否通过质量门禁 avg_score$(curl -s https://api.example.com/check-score | jq .avg_score) if (( $(echo $avg_score 0.7 | bc -l) )); then echo Quality gate failed: avg_score$avg_score 0.7 exit 1 fi八、常见问题FAQ8.1 评测集相关问题问评测集中需要包含多少条测试数据才合理答取决于智能体的功能复杂度。建议至少包含30~50条覆盖主要场景的测试数据对于功能复杂的智能体建议100条以上。问评测集数据是否可以多人协作编辑答当前评测集为创建者独有管理暂不支持多人协作编辑。建议通过版本管理和导出分享机制进行协作。8.2 评估器相关问题问评估器的评分是否完全可靠答评估器评分基于大模型自动判断虽然具有较高的一致性但不能完全替代人工评审。建议将自动评估作为初筛工具对低分案例进行人工复核。8.3 评测任务相关问题问评测任务的执行时长一般是多少答取决于评测集大小和智能体响应速度。50条测试数据通常在5~15分钟内完成复杂场景可能需要更长时间。问评测机会每周有多少次限制答每周提供的免费评测次数有限具体额度请参考小艺开放平台的官方说明。建议在评测前充分准备好评测集和评估器避免浪费评测机会。九、总结小艺罗盘为鸿蒙智能体开发者提供了从开发评测到运营观测的全链路质量保障能力。通过评测集构建、评估器配置、评测任务执行、运营看板监控四个环节开发者可以建立科学的质量评估体系实现智能体的持续优化和迭代。如果这篇文章对你有帮助欢迎点赞、收藏⭐、关注你的支持是我持续创作的动力相关资源小艺罗盘官方文档评测 | 观测评测集管理指南创建评测集评估器配置说明创建评估器评测任务操作指南创建评测任务运营看板使用说明运营看板小艺开放平台进入平台鸿蒙智能体开发实战系列系列索引