当大模型应用上线之后一个用户发起的对话请求往往会穿过多个进程CDN / 负载均衡、API 网关、Java 业务服务、推理服务如 vLLM / Triton、向量数据库、缓存等。任何一个进程出现延迟或异常都可能影响整体响应时间。要定位问题第一步也是最关键的一步就是让同一请求的链路上下文TraceId在所有进程之间保持一致并透传下去。本文聚焦 SkyWalking 的跨进程链路传播机制带你把网关到推理服务的整条链路串起来。链路透传的核心价值与典型场景SkyWalking 跨进程传播协议 SW8 详解实战网关到推理服务的链路透传配置自定义业务字段与 Header 透传跨语言调用与常见问题排查清单1. 链路透传的核心价值与典型场景在单体应用时代一次请求通常在一个 JVM 内完成问题排查靠本地日志和 IDE 断点即可。但大模型应用是典型的分布式系统请求进入网关后Java 业务服务负责鉴权、限流、提示词组装再转发给推理服务推理服务调用向量数据库做检索增强RAG调用缓存降低重复计算。任何一个环节的毛刺都会被放大到用户侧。没有链路透传时每个服务各自打印日志彼此之间没有关联。你拿着网关的时间戳去业务服务里捞日志发现对不上业务服务报了一个慢调用却无法确认是不是推理服务拖慢的。SkyWalking 的分布式追踪正是为了解决这个痛点它给每次请求分配一个全局唯一的 TraceId并且通过「上下文透传」让下游进程继续沿用这个 TraceId从而在后端把这些分散的 Span 拼接成一条完整链路。链路透传在大模型场景下有三个特别突出的价值**端到端耗时拆分**可以清晰看到提示词组装、推理首 token 延迟TTFT、整段生成耗时各占多少。**跨团队协同**网关团队、Java 团队、算法团队推理服务各看各的 Span但共用一个 TraceId沟通成本骤降。**根因定位**当某个大模型的 P99 延迟飙升时能立刻区分是网关排队、业务编排慢还是推理卡瓶颈。2. SkyWalking 跨进程传播协议 SW8 详解SkyWalking 在跨进程传播时使用名为 sw8 的请求头HTTP Header。它是一个由 - 连接的字符串SkyWalking 探针在发起跨进程调用Exit Span时自动写入该 Header在接收端Entry Span自动解析并延续链路。其标准格式如下1-{trace_id}-{segment_id}-{span_id}-{service}-{instance}-{endpoint}-{peer}各字段含义如下表所示字段位置字段名含义示例------------1协议版本固定为 1表示 SW8 协议12trace_id全局链路 ID保证整条链路一致7c8e1a2b3c4d5e6f3segment_id当前进程的段 IDSegment 是进程内 Span 集合9a0b1c2d3e4f5a6b4span_id父 Span 在当前段内的编号05service上游服务名gateway-service6instance上游实例名通常含 IP/端口gateway-service10.0.1.27endpoint上游入口端点如 HTTP 路径POST:/api/chat8peer对端地址下游目标地址10.0.2.5:8080除了 sw8SkyWalking 还定义了两个扩展头sw8-x用于透传跨进程的「关联上下文Correlation Context」也就是业务自定义 KV。sw8-correlation旧版本中用于透传相关性数据新版本统一走 sw8-x。理解这个协议很重要因为它解释了为什么链路「断」了只要接收端没有正确解析 sw8比如探针未覆盖、插件缺失、或跨语言手动注入出错下游就会生成一条全新的 TraceId链路从中间断开。需要特别强调的是SW8 协议是 SkyWalking 私有的跨进程传播格式与 W3C Trace Contexttraceparent并不互通。如果你的网关是 Nginx 或 Envoy并且希望和 SkyWalking 协同需要确认其是否兼容 SW8或者在边界处做协议转换。3. 实战网关到推理服务的链路透传配置下面以「Spring Cloud Gateway Java 业务服务 推理服务HTTP 调用」为例给出落地配置。核心思路是网关作为链路的第一个 Entry Span后续所有 HTTP 调用由 SkyWalking 的插件自动注入 sw8 头无需手写代码。第一步为网关和业务服务分别准备 agent.config。两者结构一致仅 service_name 不同agent.service_name${SW_AGENT_NAME:gateway-service}collector.backend_service${SW_AGENT_BACKEND:oap:11800}agent.sample_rate${SW_AGENT_SAMPLE_RATE:1}agent.ignore_suffix${SW_IGNORE_SUFFIX:.jpg,.jpeg,.png,.css,.js,.html}第二步启动网关时挂载探针并确保使用与网关版本匹配的插件。Spring Cloud Gateway 在不同大版本下需要不同插件目录java -javaagent:/opt/skywalking/agent/skywalking-agent.jar \-DSW_AGENT_NAMEgateway-service \-DSW_AGENT_COLLECTOR_BACKEND_SERVICESoap:11800 \-jar gateway-service.jarSkyWalking 对 Spring Cloud Gateway 提供了 apm-spring-cloud-gateway-2.x-plugin、3.x-plugin、4.x-plugin版本必须对齐否则网关内部基于 WebFlux 的响应式链路无法被拦截最终导致网关这一跳「消失」。第三步Java 业务服务以 OpenFeign 或 RestTemplate 调用推理服务SkyWalking 的 apm-httpclient-*、apm-feign-* 插件会自动把 sw8 写入出站请求。如果你使用的是 WebClient响应式则需要 apm-spring-webflux-* 插件。下面是一段调用推理服务的示例代码无需任何链路相关代码纯业务即可Servicepublic class InferenceClient {private final WebClient webClient;public InferenceClient(WebClient.Builder builder) {this.webClient builder.baseUrl(http://inference-service:8000).build();}public FluxString streamChat(ChatRequest request) {return webClient.post().uri(/v1/chat/completions).bodyValue(request).retrieve().bodyToFlux(String.class);}}只要插件就位上面的 streamChat 调用会自动产生一个 Exit Span并在请求头里携带 sw8推理服务收到后延续同一 TraceId。4. 自定义业务字段与 Header 透传仅靠 TraceId 有时不够。排查大模型问题时我们常希望把 userId、sessionId、modelName如 qwen2.5-72b这些业务字段也随链路一起透传这样在 SkyWalking UI 上就能按业务维度过滤。SkyWalking 提供了「关联上下文Correlation Context」机制。在业务服务中可以通过 ActiveSpan 设置关联字段它们会随 sw8-x 透传到下游import org.apache.skywalking.apm.toolkit.trace.ActiveSpan;import org.apache.skywalking.apm.toolkit.trace.TraceContext;public void handleChat(String userId, String sessionId, String modelName) {// 把业务字段写入关联上下文随 sw8-x 透传到下游ActiveSpan.setCorrespondingTraceId(userId);ActiveSpan.tag(sessionId, sessionId);ActiveSpan.tag(modelName, modelName);// 也可以读取当前 TraceId写入业务日志实现日志与链路打通String traceId TraceContext.traceId();log.info(start chat traceId{} userId{} model{}, traceId, userId, modelName);}如果需要在跨进程的 HTTP 调用里手动携带额外的自定义 Header例如某些审计字段可以通过网关过滤器统一注入Componentpublic class TraceHeaderGatewayFilter implements GlobalFilter, Ordered {Overridepublic MonoVoid filter(ServerWebExchange exchange, GatewayFilterChain chain) {String traceId TraceContext.traceId();ServerHttpRequest req exchange.getRequest().mutate().header(X-Trace-Id, traceId).build();return chain.filter(exchange.mutate().request(req).build());}Overridepublic int getOrder() { return -1; }}这样业务服务和推理服务都能从 X-Trace-Id 读取链路 ID即使推理服务没有被 SkyWalking 探针覆盖见下一节也能通过日志把两者关联起来。5. 跨语言调用与常见问题排查清单大模型推理服务多数用 PythonvLLM、FastAPI、Triton。Python 进程默认不会解析 sw8链路到这里就会断开。有两种处理思路方案一为 Python 推理服务也挂载 SkyWalking Python 探针sw-python它会自动解析 sw8 并延续链路。安装与启动示例如下pip install apache-skywalkingsw-python run python inference_server.py # 启动时挂载 agent方案二若无法挂载探针则在 Java 侧手动把 sw8 头取出转成 Python 可识别的字段如 W3C traceparent 或直接透传 X-Trace-Id由推理服务把该 ID 写入自己日志。下面演示如何手动读取 sw8import org.apache.skywalking.apm.toolkit.trace.TraceContext;public MapString, String buildInferenceHeaders() {MapString, String headers new HashMap();// SkyWalking 自动透传 sw8但如需要跨语言改造可手动取出 traceIdheaders.put(X-Trace-Id, TraceContext.traceId());headers.put(X-Segment-Id, TraceContext.segmentId());return headers;}最后整理一份高频「链路断裂」排查清单现象可能原因排查与修复---------网关这一跳在拓扑图中缺失网关插件版本与 Spring Cloud Gateway 版本不匹配核对 apm-spring-cloud-gateway-x.x-plugin 版本业务服务到推理服务链路断开使用了 WebClient 但未启用 webflux 插件放入对应 apm-spring-webflux-* 插件推理服务Python不在链路中未挂载 Python 探针安装 apache-skywalking 并用 sw-python run 启动自定义业务字段下游取不到字段写入了 tag 而非 correlation使用 ActiveSpan.setCorrespondingTraceId 或 sw8-x链路整体偶发断裂网关对 sw8 头做了清洗/转发拦截检查网关是否透传自定义 Header必要时白名单放行6. 消息队列与 gRPC 场景的透传大模型应用里除了 HTTP 同步调用还常见两类异步跨进程通信它们的透传方式略有不同**消息队列Kafka / RocketMQ / RabbitMQ**。当把长耗时生成任务丢进队列异步处理时链路会从「生产者」经「消息」跳到「消费者」。SkyWalking 的 MQ 插件会在生产者侧创建一个 Exit Span并把 sw8 写入消息的 Header / Properties消费者侧从消息里解析 sw8创建一个 Entry Span从而延续链路。如果使用的是社区未覆盖的自研 MQ 客户端就要手动处理// 生产者把快照写入消息头public void sendTask(InferenceTask task) {ContextSnapshot snapshot ContextManager.capture();String sw8 ContextManager.serializeContext(); // 序列化上下文task.setHeader(sw8, sw8);mqTemplate.send(task);}// 消费者解析并续接上下文RabbitListener(queues inference)public void onTask(InferenceTask task) {ContextManager.deserializeContext(task.getHeader(sw8));try {doInference(task);} finally {ContextManager.stopSpan();}}**gRPC**。推理服务若以 gRPC 暴露如 Triton需启用 apm-grpc-1.x-plugin它会自动在 gRPC 的 metadata 里传递上下文。需要注意双向流bidi streaming场景流是长连接一个 Stream 内可能承载多次推理请求插件通常按每次 onNext 切分 Span但要确认插件版本与 gRPC 版本匹配否则可能出现一条流内所有请求被合并成一个 Span 的情况。7. 端到端验证怎么确认链路真的串起来了配置完别急着上线先做端到端验证避免「以为通了其实断了」。三种验证手段**手段一UI 比对 TraceId**。在 SkyWalking UI 的「Trace」里点开任意一条对话链路展开 Span 树确认网关、业务服务、推理服务的 Span 都在同一 traceId 下且父子层级正确。如果推理服务的 Span 单独成一条、traceId 不同说明透传失败。**手段二日志比对**。在网关、业务、推理三处分别打印 TraceContext.traceId() 到业务日志用同一个用户请求触发一次对话然后 grep 三个服务的日志确认打印出的 traceId 完全一致log.info(servicegateway traceId{} uri{}, TraceContext.traceId(), uri);**手段三GraphQL 查询**。直接查 OAP 拿到某条 Trace 的所有 Span脚本化校验跨服务一致性curl -X POST http://oap:12800/graphql \-H Content-Type: application/json \-d {query:query { trace(traceId:\7c8e1a2b3c4d5e6f\) { spans { serviceCode operationName peer } } }}验证时还有一个隐蔽坑**服务器时钟不同步**。如果网关、业务、推理三台机器时钟偏差几秒SkyWalking 展示 Span 时序时会错乱看起来像「先有子 Span 后有父 Span」。所有节点务必接入 NTP 时间同步trace 的时序图才准确。8. 网关侧的调试技巧在排查透传问题时网关是第一现场。可以在网关加一个调试过滤器把进出请求的 sw8 头打印出来确认它确实被注入与转发Componentpublic class Sw8DebugFilter implements GlobalFilter, Ordered {Overridepublic MonoVoid filter(ServerWebExchange exchange, GatewayFilterChain chain) {String inSw8 exchange.getRequest().getHeaders().getFirst(sw8);log.info(incoming sw8{}, inSw8); // 入口应为空首跳return chain.filter(exchange).then(Mono.fromRunnable(() - {// 转发后下游应在请求头里看到 sw8log.info(outgoing sw8 present{}, exchange.getRequest().getHeaders().containsKey(sw8));}));}Overridepublic int getOrder() { return Ordered.HIGHEST_PRECEDENCE; }}首跳incoming sw8 为空是正常的请求从用户进来网关创建 Entry Span 并生成 traceId之后网关向业务服务转发时插件自动写入 sw8。如果你在入口就看到 sw8 有值反而说明上游如前置 Nginx/Envoy已经创建了链路这时要确认不会和网关的插件重复创建 Segment。9. 透传的安全边界别让 Trace 上下文外泄链路透传带来便利也有安全边界要注意。sw8 头里携带了服务名、实例地址、端点等信息这些属于内部架构细节。当你的 Java 业务服务需要出公网调用第三方大模型如公网托管的 OpenAI 兼容接口时务必在网关或出口处把 sw8 头剥离**不要**透传给外部一方面避免泄露内部服务拓扑与实例 IP给攻击者提供侦察线索另一方面避免外部回传一个伪造/错误的 sw8污染你本地链路的父子关系造成监控错乱。出口剥离的写法很简单在转发到外部前移除该头即可Componentpublic class ExternalCallFilter implements GlobalFilter, Ordered {Overridepublic MonoVoid filter(ServerWebExchange exchange, GatewayFilterChain chain) {ServerHttpRequest req exchange.getRequest().mutate().headers(h - h.remove(sw8)) // 出公网前剥离内部链路头.build();return chain.filter(exchange.mutate().request(req).build());}Overridepublic int getOrder() { return Ordered.LOWEST_PRECEDENCE; }}同时关联上下文correlationsw8-x里只应放「维度与计数」如 userId、modelName、token 数**绝对不要**放大模型对话原文、用户隐私或密钥——这些信息会随 Trace 落库既违反合规又推高存储成本。10. 关键配置速查表把本文涉及的核心配置汇总方便上线前对照检查配置项位置推荐值作用------------agent.service_nameagent.config服务唯一名拓扑节点标识collector.backend_serviceagent.configoap:11800上报地址agent.sample_rateagent.config0.1生产探针采样率agent.ignore_suffixagent.config静态资源后缀忽略无关请求agent.force_sample_error_segmentagent.configtrue错误强制采样网关插件版本agent/plugins对齐 Gateway 大版本拦截 WebFlux 链路webflux / httpclient 插件agent/plugins按需放置覆盖响应式与 HTTP 调用sw-python 探针Python 推理服务启用跨语言延续 sw8上线前对照这张表逐项确认能避免绝大多数「链路断裂」「拓扑缺节点」的问题。总结跨进程链路透传是 SkyWalking 排查大模型性能问题的地基。只要保证 sw8 在每一跳正确注入与解析你就能从网关一路追到推理服务把每一段耗时钉在具体的进程与端点上。下一篇我们将讨论链路进入异步线程池后为什么会「断」以及如何修复。