AI系统上线后用户反馈“时好时坏”问题排查却困难重重Prompt、工具调用、调用链路、Token成本等关键信息缺失。文章深入剖析AI系统独特的复杂性提出AI可观测性的概念并详细阐述其四大核心维度Prompt追踪、Tool Call追踪、Trace链路追踪、Token追踪。通过Langfuse等平台的实战案例展示如何记录和追踪Prompt、工具调用、调用链路和Token消耗帮助开发者构建透明、高效、低成本的AI系统。文章还提供AI可观测性的最佳实践和架构方案助力开发者从AI黑盒走向透明化治理。你的 AI 系统上线了用户反馈「有时候好用有时候不好用」。你想排查问题却发现Prompt 是什么不知道没记录调了哪些工具不知道没日志完整调用链路不知道黑盒Token 花了多少钱月底账单才知道这不是个例。这是 2026 年大多数 AI 系统的现状。传统软件有成熟的监控体系APM、日志、指标、链路追踪但 AI 系统——特别是基于 LLM 的系统——有其独特的复杂性不确定性同样的输入可能产生不同的输出多步骤一个用户请求可能触发 10 次 LLM 调用工具链Agent 会调用外部 API、数据库、搜索引擎成本不透明Token 消耗、API 调用费用难以预估这就是为什么我们需要 AI 可观测性AI Observability。什么是 AI 可观测性AI 可观测性不是简单的日志记录。它是理解 AI 系统内部状态和行为的完整能力。类比传统软件传统 APM监控 HTTP 请求 → 数据库查询 → 响应AI 可观测性监控用户输入 → Prompt → LLM 调用 → Tool Call → 多轮推理 → 最终输出AI 可观测性的 4 个核心维度Prompt 追踪记录和追踪所有 Prompt包括动态生成的Tool Call 追踪监控 Agent 调用的所有外部工具Trace 链路追踪完整的调用链路从输入到输出Token 追踪Token 消耗、成本、延迟的实时监控这 4 个维度缺一不可。缺任何一个你的 AI 系统就是一个「昂贵的黑盒」。维度 1Prompt 追踪——你的 AI 在「想」什么为什么 Prompt 追踪如此重要一个典型的 AI 应用一次用户请求可能生成多个 Prompt用户输入“帮我写一封邮件”↓Prompt 1: 意图识别判断用户想做什么↓Prompt 2: 上下文检索从知识库找相关信息↓Prompt 3: 邮件生成根据意图和上下文生成邮件↓Prompt 4: 质量检查检查邮件是否符合要求↓最终输出一封完整的邮件如果最终输出的邮件有问题你如何定位是哪个 Prompt 出了问题没有 Prompt 追踪你只能猜测。有了 Prompt 追踪你可以精确定位。Prompt 追踪的核心要素每个 Prompt 应该记录prompt_trace:id: “prompt_abc123” # 唯一标识timestamp: “2026-06-18T10:23:45Z”parent_id: “trace_xyz789” # 所属的 Trace IDPrompt 内容system_prompt: “你是一个专业的邮件助手…”user_prompt: “用户原始输入”full_prompt: “最终发送给 LLM 的完整 Prompt”模型调用model: “gpt-5.5”temperature: 0.7max_tokens: 2000LLM 响应response: “LLM 的完整输出”finish_reason: “stop” # 或 “length”、“content_filter”性能指标latency_ms: 1234tokens_input: 850tokens_output: 420上下文metadata:user_id: “user_12345”session_id: “session_67890”feature_flag: “new_email_template_v2”实战用 Langfuse 实现 Prompt 追踪Langfuse 是目前最流行的开源 AI 可观测性平台。下面是一个完整的示例from langfuse import Langfusefrom openai import OpenAI初始化langfuse Langfuse(public_key“pk-lf-…”,secret_key“sk-lf-…”,host“https://cloud.langfuse.com”)openai OpenAI()def generate_email(user_input: str, user_id: str):# 创建 Trace trace langfuse.trace( nameemail_generation, user_iduser_id, metadata{source: web} ) # 追踪 Prompt 1: 意图识别 span1 trace.span(nameintent_detection) intent_prompt f判断用户意图{user_input} response1 openai.chat.completions.create( modelgpt-5.5, messages[{role: user, content: intent_prompt}] ) span1.end( outputresponse1.choices[0].message.content, metadata{ tokens_input: response1.usage.prompt_tokens, tokens_output: response1.usage.completion_tokens } ) intent response1.choices[0].message.content # 追踪 Prompt 2: 邮件生成 span2 trace.span(nameemail_drafting) email_prompt f根据意图 #x27;{intent}#x27; 生成邮件 response2 openai.chat.completions.create( modelgpt-5.5, messages[{role: user, content: email_prompt}] ) span2.end( outputresponse2.choices[0].message.content, metadata{ tokens_input: response2.usage.prompt_tokens, tokens_output: response2.usage.completion_tokens } ) email response2.choices[0].message.content # 记录最终输出 trace.update( outputemail, metadata{total_spans: 2} ) return emailPrompt 追踪的最佳实践记录完整 Prompt不要只记录用户输入要记录最终发送给 LLM 的完整 Prompt包括 system prompt、few-shot examples版本管理Prompt 模板要有版本号方便追踪哪个版本效果好A/B 测试追踪在 metadata 中记录实验分组方便后续分析敏感信息脱敏用户输入可能包含个人信息记得脱敏后再记录维度 2Tool Call 追踪——你的 Agent 在「做」什么Agent 的工具调用链2026 年的 AI Agent 不再是简单的「问答机器」。它们会搜索互联网获取实时信息调用 API 查询数据库执行代码进行计算操作浏览器完成复杂任务一个 Agent 任务可能调用 5-20 个工具。如果没有追踪你根本不知道它在做什么。Tool Call 追踪的核心要素tool_call_trace:id: “tool_call_def456”timestamp: “2026-06-18T10:23:46Z”parent_id: “span_abc123” # 所属的 Span工具信息tool_name: “web_search”tool_version: “2.1.0”调用参数input:query: “2026年AI市场规模”num_results: 5date_range: “last_month”工具响应output:success: trueresults: [{“title”: “…”, “url”: “…”, “snippet”: “…”},# ... 更多结果 ] result_count: 5性能指标latency_ms: 890retries: 0错误信息如果有error: null上下文metadata:cache_hit: falserate_limited: false实战追踪 Agent 的工具调用from langfuse import Langfusefrom typing import Callable, Anylangfuse Langfuse()def tracked_tool_call(trace, tool_name: str, func: Callable, kwargs):“”“装饰器自动追踪工具调用”“”# 创建 Span span trace.span( nameftool_call:{tool_name}, inputkwargs ) try: # 执行工具 result func(kwargs) # 记录成功 span.end( outputresult, metadata{success: True} ) return result except Exception as e: # 记录失败 span.end( outputNone, metadata{ success: False, error_type: type(e).__name__, error_message: str(e) } ) raise使用示例def search_web(query: str, num_results: int 5):# 实际的搜索逻辑 return {results: [...], count: num_results}在 Agent 中调用trace langfuse.trace(name“research_agent”)results tracked_tool_call(trace,“web_search”,search_web,query“AI market size 2026”,num_results5)Tool Call 追踪的关键指标成功率工具调用的成功率应该 99%延迟分布P50、P95、P99 延迟识别慢工具错误类型分布哪些工具最容易出错调用频率哪些工具被调用最多是否有优化空间工具调用的常见陷阱陷阱表现解决方案工具超时Agent 卡在某个工具调用设置超时 重试机制工具幻觉Agent 调用不存在的工具工具注册表 严格校验工具滥用简单任务调用过多工具优化工具选择逻辑工具依赖工具 A 失败导致工具 B 也失败记录依赖关系 级联错误处理维度 3Trace 链路追踪——完整的「故事线」什么是 TraceTrace 是一次完整用户请求的全部调用链路。类比传统软件一个 HTTP 请求 → 多个微服务调用 → 数据库查询 → 响应AI 系统一个用户输入 → 多个 Prompt → 多次 LLM 调用 → 多个 Tool Call → 最终输出Trace 让你看到完整的「故事线」而不是零散的片段。Trace 的层级结构Trace: 用户请求 “帮我分析这个 CSV 文件”├── Span 1: 意图识别│ ├── LLM Call: GPT-5.5 (234ms, 850 tokens)│ └── Output: “用户想分析 CSV 数据”├── Span 2: 文件读取│ ├── Tool Call: file_reader (45ms)│ └── Output: CSV 内容 (1000 行)├── Span 3: 数据分析│ ├── LLM Call: GPT-5.5 (1.2s, 2100 tokens)│ ├── Tool Call: python_executor (890ms)│ └── Output: 统计结果 图表├── Span 4: 报告生成│ ├── LLM Call: GPT-5.5 (1.8s, 3200 tokens)│ └── Output: 完整分析报告└── Span 5: 结果格式化├── LLM Call: GPT-5.5 (456ms, 1200 tokens)└── Output: 最终响应总计4 次 LLM 调用2 次工具调用总延迟 4.6s总 Token 7350Trace 的核心价值问题定位用户说「响应太慢」Trace 告诉你慢在哪个环节性能优化发现哪个 Span 耗时最长针对性优化成本分析每次请求花了多少 Token哪些 Prompt 最贵质量评估对比成功和失败的 Trace找出差异实战构建完整的 Tracefrom langfuse import Langfuseimport timelangfuse Langfuse()def analyze_csv(user_input: str, file_path: str, user_id: str):# 创建 Trace trace langfuse.trace( namecsv_analysis, user_iduser_id, metadata{ input: user_input, file_path: file_path } ) start_time time.time() # Span 1: 意图识别 with trace.span(nameintent_detection) as span1: intent detect_intent(user_input) span1.update(outputintent) # Span 2: 文件读取 with trace.span(namefile_reading) as span2: csv_data read_csv_file(file_path) span2.update( output{rows: len(csv_data), columns: len(csv_data.columns)}, metadata{file_size_mb: get_file_size(file_path)} ) # Span 3: 数据分析 with trace.span(namedata_analysis) as span3: analysis_prompt f分析以下数据/n{csv_data.head()} analysis call_llm(analysis_prompt) # 子 Span: 代码执行with span3.span(name“code_execution”) as sub_span:code extract_code(analysis)result execute_python(code)sub_span.update(outputresult)span3.update(outputanalysis) # Span 4: 报告生成 with trace.span(namereport_generation) as span4: report generate_report(analysis, result) span4.update(outputreport) # Span 5: 结果格式化 with trace.span(nameformatting) as span5: final_output format_response(report) span5.update(outputfinal_output) # 更新 Trace total_time time.time() - start_time trace.update( outputfinal_output, metadata{ total_latency_ms: int(total_time * 1000), total_spans: 5, total_llm_calls: 4 } ) return final_outputTrace 分析的高级技巧对比分析对比成功和失败的 Tracesuccessful_traces langfuse.fetch_traces(name“csv_analysis”,metadata{“status”: “success”},limit100)failed_traces langfuse.fetch_traces(name“csv_analysis”,metadata{“status”: “failed”},limit100)分析差异成功的 Trace 平均 3 次 LLM 调用失败的 Trace 平均 7 次 LLM 调用可能在重试性能瓶颈识别找出最慢的 Spantraces langfuse.fetch_traces(name“csv_analysis”, limit1000)span_latencies {}for trace in traces:for span in trace.spans:if span.name not in span_latencies:span_latencies[span.name] []span_latencies[span.name].append(span.latency_ms)计算每个 Span 的平均延迟for span_name, latencies in span_latencies.items():avg sum(latencies) / len(latencies)p95 sorted(latencies)[int(len(latencies) * 0.95)]print(f{span_name}: avg{avg}ms, p95{p95}ms)成本归因计算每个 Span 的 Token 消耗和成本trace langfuse.fetch_trace(trace_id“xxx”)total_cost 0for span in trace.spans:if span.type “llm”:tokens span.metadata.get(“tokens_input”, 0) span.metadata.get(“tokens_output”, 0)cost calculate_cost(span.model, tokens)total_cost costprint(f{span.name}: {tokens} tokens, ${cost:.4f})print(fTotal cost: ${total_cost:.4f})维度 4Token 追踪——你的 AI 花了多少钱为什么 Token 追踪如此重要2026 年的 LLM 价格模型输入价格 ($/1M tokens)输出价格 ($/1M tokens)GPT-5.5$15$60Claude Opus 4$15$75Gemini 2.5 Ultra$12.50$50DeepSeek-V4$0.55$2.19一个复杂 Agent 任务可能消耗 10,000 tokens成本 $0.5-$1。如果你的系统每天处理 10,000 个请求低成本模型$50-$100/天高成本模型$5,000-$10,000/天没有 Token 追踪你只能在月底收到账单时才知道花了多少钱。有了 Token 追踪你可以实时监控、预警、优化。Token 追踪的核心指标token_metrics:实时指标tokens_per_minute: 125000cost_per_minute: $8.50按用户/会话/功能分组tokens_by_user:user_123: 45000 tokens ($2.70)user_456: 38000 tokens ($2.28)tokens_by_feature:email_generation: 85000 tokens ($5.10)csv_analysis: 125000 tokens ($7.50)chat: 40000 tokens ($2.40)趋势分析daily_tokens:2026-06-16: 2.5M tokens ($150)2026-06-17: 2.8M tokens ($168)2026-06-18: 3.1M tokens ($186) # 10% 增长预算控制monthly_budget: $5000monthly_spent: $3200monthly_remaining: $1800projected_end_of_month: $4800 # 基于当前趋势实战构建 Token 追踪系统from langfuse import Langfusefrom dataclasses import dataclassfrom typing import Dictimport jsonlangfuse Langfuse()dataclassclass TokenUsage:model: strinput_tokens: intoutput_tokens: intcost: floatclass TokenTracker:definit(self):self.usage_by_user: Dict[str, TokenUsage] {}self.usage_by_feature: Dict[str, TokenUsage] {}self.daily_usage: Dict[str, TokenUsage] {}def record_usage(self, user_id: str, feature: str, model: str, input_tokens: int, output_tokens: int): 记录 Token 使用 cost self._calculate_cost(model, input_tokens, output_tokens) usage TokenUsage( modelmodel, input_tokensinput_tokens, output_tokensoutput_tokens, costcost ) # 按用户聚合 if user_id not in self.usage_by_user: self.usage_by_user[user_id] TokenUsage(model, 0, 0, 0) self.usage_by_user[user_id].input_tokens input_tokens self.usage_by_user[user_id].output_tokens output_tokens self.usage_by_user[user_id].cost cost # 按功能聚合 if feature not in self.usage_by_feature: self.usage_by_feature[feature] TokenUsage(model, 0, 0, 0) self.usage_by_feature[feature].input_tokens input_tokens self.usage_by_feature[feature].output_tokens output_tokens self.usage_by_feature[feature].cost cost # 按天聚合 today datetime.now().strftime(%Y-%m-%d) if today not in self.daily_usage: self.daily_usage[today] TokenUsage(model, 0, 0, 0) self.daily_usage[today].input_tokens input_tokens self.daily_usage[today].output_tokens output_tokens self.daily_usage[today].cost cost # 发送到 Langfuse langfuse.score( nametoken_cost, valuecost, metadata{ user_id: user_id, feature: feature, model: model } ) def _calculate_cost(self, model: str, input_tokens: int, output_tokens: int) - float: 计算成本 pricing { gpt-5.5: {input: 15, output: 60}, # $/1M tokens claude-opus-4: {input: 15, output: 75}, gemini-2.5-ultra: {input: 12.5, output: 50}, deepseek-v4: {input: 0.55, output: 2.19}, } if model not in pricing: return 0 input_cost (input_tokens / 1_000_000) * pricing[model][input] output_cost (output_tokens / 1_000_000) * pricing[model][output] return input_cost output_cost def get_daily_report(self): 生成每日报告 today datetime.now().strftime(%Y-%m-%d) usage self.daily_usage.get(today, TokenUsage(, 0, 0, 0)) return { date: today, total_tokens: usage.input_tokens usage.output_tokens, total_cost: usage.cost, by_feature: { feature: { tokens: u.input_tokens u.output_tokens, cost: u.cost } for feature, u in self.usage_by_feature.items() } }使用示例tracker TokenTracker()在每次 LLM 调用后记录tracker.record_usage(user_id“user_123”,feature“email_generation”,model“gpt-5.5”,input_tokens850,output_tokens420)查看报告report tracker.get_daily_report()print(json.dumps(report, indent2))Token 优化策略模型选择优化不是所有任务都需要最贵的模型def select_model(task_complexity: str) - str:“”“根据任务复杂度选择模型”“”if task_complexity “high”:return “gpt-5.5” # $15/$60elif task_complexity “medium”:return “gemini-2.5-flash” # $0.30/$1.20else:return “deepseek-v4” # $0.55/$2.19Prompt 缓存相同的 Prompt 前缀可以缓存避免重复计算优化前每次都发送完整的 system promptprompt1 system_prompt user_input1 # 2000 tokensprompt2 system_prompt user_input2 # 2000 tokens优化后使用 Prompt 缓存system_prompt 只需计算一次后续调用享受 50% 折扣输出长度控制优化前不限制输出长度response call_llm(prompt) # 可能输出 2000 tokens优化后根据任务设置 max_tokensresponse call_llm(prompt, max_tokens500) # 最多 500 tokens完整的 AI 可观测性架构4 个维度的整合用户请求↓[Trace 链路追踪] ← 贯穿整个流程↓[Span 1: Prompt 追踪]记录完整 Prompt追踪 LLM 调用↓[Span 2: Tool Call 追踪]记录工具调用追踪执行结果↓[Span 3: Prompt 追踪]记录后续 Prompt↓[Token 追踪] ← 聚合所有 Span 的 Token 消耗↓最终响应技术栈选择开源方案Langfuse推荐开源 云托管支持 Prompt、Tool Call、Trace、Token 全维度易于集成Python/JS SDK 完善适合中小团队OpenTelemetry 自定义完全开源高度可定制需要自己搭建存储和可视化适合有基础设施团队的大公司商业方案LangSmithLangChain 官方与 LangChain 深度集成强大的调试和评估功能价格较高Helicone专注于 LLM 监控优秀的成本追踪适合纯 LLM 应用生产环境部署清单1. 基础设施observability_stack:langfuse: v2.0 # 核心追踪平台postgresql: 15 # 元数据存储clickhouse: 23 # 时序数据存储redis: 7 # 缓存grafana: 10 # 可视化可选2. 集成点integration_points:llm_provider: OpenAI/Anthropic/自建网关agent_framework: LangChain/LlamaIndex/自建tool_registry: MCP Serveralerting: Slack/PagerDuty/Email3. 监控告警alerts:name: “高延迟告警”condition: “p95_latency 5000ms”action: “notify_slack”name: “高错误率告警”condition: “error_rate 5%”action: “notify_pagerduty”name: “成本超支告警”condition: “daily_cost budget * 0.8”action: “notify_email”name: “Token 异常告警”condition: “tokens_per_request 10000”action: “notify_slack”4. 数据保留retention:traces: 90 daysmetrics: 1 yearlogs: 30 days实战案例一个完整的可观测性改造背景一个电商客服 AI 系统用户反馈「有时候回答很慢有时候回答错误」。改造前的问题没有 Prompt 追踪不知道发给 LLM 的是什么没有 Tool Call 追踪不知道 Agent 调了哪些工具没有 Trace不知道完整调用链路没有 Token 追踪不知道花了多少钱改造方案Step 1: 接入 Langfusefrom langfuse import Langfusefrom langfuse.callback import CallbackHandlerlangfuse Langfuse()handler CallbackHandler()在 LangChain 中集成chain.invoke(input, config{“callbacks”: [handler]})Step 2: 添加自定义追踪追踪关键业务指标trace langfuse.trace(name“customer_service”,metadata{“customer_id”: customer_id,“product_category”: category,“issue_type”: issue_type})记录用户满意度trace.score(name“user_satisfaction”,value4.5, # 1-5 分comment“用户评价”)Step 3: 构建监控仪表盘关键指标dashboard_metrics {“请求量”: “count(traces) by hour”,“平均延迟”: “avg(latency_ms)”,“P95 延迟”: “percentile(latency_ms, 95)”,“错误率”: “count(error_traces) / count(traces)”,“日均成本”: “sum(token_cost) by day”,“用户满意度”: “avg(user_satisfaction_score)”}改造后的成果指标改造前改造后改进问题定位时间2-4 小时5-10 分钟95% ↓P95 延迟8.5s3.2s62% ↓日均成本$450$28038% ↓用户满意度3.2/54.3/534% ↑关键发现慢响应的原因某个 Tool Call查询订单系统P95 延迟 4.2s优化后降至 0.8s错误回答的原因Prompt 模板中的 few-shot examples 过时更新后准确率提升 25%成本优化的机会30% 的请求可以用更便宜的模型处理切换后成本降低 40%最佳实践AI 可观测性的 10 条原则1. 从第一天就接入可观测性不要等到上线后才补。可观测性应该是开发流程的一部分而不是事后补救。2. 追踪一切但要有重点追踪所有 LLM 调用和 Tool Call但重点关注高成本的功能高延迟的环节高错误率的路径3. 结构化你的 Trace使用清晰的命名规范trace_name: feature_actionspan_name: step_type例trace: csv_analysisspan: intent_detection:llmspan: file_reading:toolspan: data_analysis:llmtool4. 记录足够的上下文每个 Span 都应该记录输入和输出模型和参数Token 消耗延迟错误信息如果有业务上下文用户 ID、会话 ID、功能版本5. 设置合理的告警不要告警太多告警疲劳也不要告警太少漏掉问题延迟P95 5s错误率 5%成本超过预算 80%Token单次请求 10,000 tokens6. 定期回顾 Trace每周花时间回顾最慢的 10 个 Trace最贵的 10 个 Trace失败的 Trace7. 建立成本意识让团队了解成本每个功能的日均成本每个用户的平均成本每次 LLM 调用的平均成本8. 持续优化 Prompt基于 Trace 数据优化 Prompt缩短不必要的 Prompt优化 few-shot examples调整 temperature 等参数9. 版本管理追踪所有变更Prompt 模板版本模型版本工具版本代码版本10. 安全与隐私脱敏敏感信息控制数据访问权限遵守数据保留政策总结从黑盒到透明AI 可观测性不是可选项而是必选项。没有可观测性的 AI 系统问题定位靠猜性能优化靠感觉成本控制靠月底账单质量改进靠用户反馈有可观测性的 AI 系统问题定位靠数据5 分钟找到根因性能优化靠分析精准识别瓶颈成本控制靠实时监控随时预警质量改进靠 A/B 测试数据驱动决策记住这 4 个维度Prompt 追踪你的 AI 在「想」什么Tool Call 追踪你的 Agent 在「做」什么Trace 链路追踪完整的「故事线」Token 追踪你的 AI 花了多少钱从今天开始让你的 AI 系统从黑盒变成透明。最后2026 年一晃已经过半AI 大模型的热潮不仅没有降温反而持续升温金融行业用大模型做风控、医疗依靠 AI 解析影像电商、制造、教育各行各业都在把 AI 融入日常业务。曾经热闹的 “百模大战”早就告别单纯比拼模型参数正式进入落地应用时代。现在企业疯狂紧缺一类人才懂业务、懂 AI、能做出可上线项目的大模型开发工程师岗位缺口大薪资待遇十分可观。风口再好不如手握高薪 offer 实在。行情火热普通人、程序员该怎样从零入门大模型抓住这波机会今天整理好【2026 最新版】AI 大模型全套免费学习资源覆盖零基础入门、项目实战、理论知识、大厂面试从基础一路进阶。所有资料分类归档没有多余杂料无套路免费分享给想要入局 AI 赛道的程序员与零基础小白扫码免费领取全部内容1、大模型系统化完整学习路线2、大模型经典书籍文档3、AI 大模型最新行业研究报告4、企业级实战项目 完整配套源码5、大厂大模型面试真题汇总6、这些资料真的有用吗这份资料由我和鲁为民博士(北京清华大学学士和美国加州理工学院博士)共同整理现任上海殷泊信息科技CEO其创立的MoPaaS云平台获Forrester全球’强劲表现者’认证服务航天科工、国家电网等1000企业以第一作者在IEEE Transactions发表论文50篇获NASA JPL火星探测系统强化学习专利等35项中美专利。本套AI大模型课程由清华大学-加州理工双料博士、吴文俊人工智能奖得主鲁为民教授领衔研发。资料内容涵盖了从入门到进阶的各类视频教程和实战项目无论你是小白还是有些技术基础的技术人员这份资料都绝对能帮助你提升薪资待遇转行大模型岗位。这份完整版的大模型 AI 学习资料已经上传CSDN朋友们如果需要可以微信扫描下方CSDN官方认证二维码免费领取【保证100%免费】