可观测性后端【免费下载链接】highlighthighlight.io: The open source, full-stack monitoring platform. Error monitoring, session replay, logging, distributed tracing, and more.项目地址https://gitcode.com/gh_mirrors/hi/highlight点击查看免费下载导读本文围绕 highlight 开源仓库中的sourcemap-uploaderhighlight-run/sourcemap-uploader展开系统讲解如何将 JavaScript/TypeScript 构建产物生成的 source map 上传到 highlight.io从而在错误监控中把压缩混淆的堆栈还原为原始源码行。你将掌握该 CLI 的全部命令行参数、CI/CD 集成方式、自托管部署的backendUrl配置、Next.js 路由组route groups兼容处理以及上传背后的 GraphQL 调用链与对象存储签名 URL 机制可直接在真实构建流水线中落地使用。一、为什么需要 Source Map Uploaderhighlight.io 是一套开源的全栈可观测性平台支持错误监控、会话回放、日志与分布式追踪。前端代码在生产环境通常经过压缩与混淆浏览器上报的错误堆栈指向的是bundle.js:1:23456这类不可读位置。highlight.io 对 JavaScript 压缩堆栈有一流的还原支持但要还原到原始源码前提是平台能拿到对应的 source map 文件——尤其是那些没有随应用一起公开发布的 source map。此时就需要highlight-run/sourcemap-uploader这类命令行工具在 CI/CD 构建阶段把.map文件上传到 highlight.io。该包在仓库中位于 sourcemap-uploader是一个用 TypeScript 编写、通过 tsup 打包、以commander解析命令行参数的小型 CLI见 package.json。二、快速开始一条命令完成上传2.1 直接通过 npx 运行无需安装在构建流水线中直接调用见 README.mdnpx highlight-run/sourcemap-uploader upload --path/path/to/sourcemaps2.2 作为 npm script 固化// 在 package.json 中 { scripts: { upload-sourcemaps: npx highlight-run/sourcemap-uploader upload --path\/path/to/sourcemaps\ } }注意--apiKey是upload命令的必填参数requiredOption见 src/index.ts。若命令行未传工具会回退读取环境变量HIGHLIGHT_SOURCEMAP_UPLOAD_API_KEY两者都为空时直接抛出api key cannot be empty见 src/lib.ts。三、完整命令行参数说明upload子命令的全部参数定义在 src/index.ts整理如下参数简写类型必填默认值说明--apiKey-kstring是无highlight 项目 API Key可在项目设置的 Errors → Sourcemaps 页找到也可用环境变量HIGHLIGHT_SOURCEMAP_UPLOAD_API_KEY提供--appVersion-avstring否无按unversioned处理当前部署版本号需与H.init()/ 服务初始化时传入的version或serviceName-serviceVersion保持一致--path-pstring否.当前目录source map 所在目录或单个文件--basePath-bpstring否空上传路径的可选基础前缀用于对齐部署运行目录--backendUrl-bustring否https://pri.highlight.io后端地址自托管部署时用于指向你自己的后端3.1--backendUrl自托管部署支持自托管用户无法访问 highlight.io 的公共后端https://pri.highlight.io必须通过--backendUrl指向自己部署的后端实例。这正是 CHANGELOG 中0.6.1版本引入的能力5e61d5859之前的0.6.1support backend url for sourcemap uploader for self-hosted deployments。在源码中后端地址默认值与覆盖逻辑如下src/lib.tsconst backend backendUrl || https://pri.highlight.io;自托管部署示例npx highlight-run/sourcemap-uploader upload \ --apiKey ${HIGHLIGHT_API_KEY} \ --path ./dist \ --backendUrl https://your-self-hosted-backend.example.com四、上传流程与底层实现原理CLI 的执行入口是uploadSourcemapssrc/lib.ts整个流程分四步4.1 第一步校验 API Key工具向后端发送 GraphQL 查询api_key_to_org_id携带请求头ApiKey与请求体变量api_keysrc/lib.ts。返回的组织 ID 若为空或为0则抛出invalid api key。这一校验在 highlight 后端的对应解析器为APIKeyToOrgID见 backend/private-graph/graph/schema.resolvers.go即先用 API Key 换取组织 ID再以该 ID 作为对象存储路径前缀。4.2 第二步扫描 source map 文件工具递归扫描--path指定目录匹配**/*.js?(.map)即.js与.js.map并忽略**/node_modules/**src/lib.ts。若目录中连一个.js.map都没有会抛出No .js.map files found. Please double check that you have generated sourcemaps for your app.。若指定路径本身是单个文件则直接上传该文件src/lib.ts。4.3 第三步获取预签名上传 URL将所有文件的 S3 key 批量发送给后端 GraphQL 查询get_source_map_upload_urls换取可用的上传 URLsrc/lib.ts。后端解析器GetSourceMapUploadUrlsbackend/private-graph/graph/schema.resolvers.go会做两件关键事情跨项目防护强制校验每个路径都以{organizationId}/前缀开头否则拒绝invalid path - does not start with project prefix防止一个项目的 API Key 上传到别的项目空间生成签名 URL调用存储层StorageClient.GetSourceMapUploadUrl即 backend/storage/storage.go 中定义的Client接口方法S3 实现会返回带签名的直传 URL签名有效期约为 15 分钟见同文件签名逻辑。4.4 第四步并发上传并输出日志拿到 URL 列表后通过Promise.all并发地对每个文件执行PUT直传src/lib.ts上传完成后打印日志[Highlight] Uploaded /path/to/file.js.map to 123/express-abc123/webpack:/src/App.js.map这条日志在0.6.3版本中被更新CHANGELOGupdate sourcemap uploader log line用于更清晰地在 CI 日志中确认每个文件的上传结果。五、S3 Key 结构与版本管理上传文件的存储路径由getS3Key决定src/lib.tsreturn ${organizationId}/${version}/${basePath}${fileName};organizationIdAPI Key 校验后得到的组织 IDversion即--appVersion为空时自动回退为unversionedbasePath--basePath传入的可选前缀fileName相对扫描目录的完整文件路径含子目录。版本号设计上需与应用的serviceName和serviceVersion组合对齐例如H.init传入service_name: express, serviceVersion: abc123则--appVersion应为express-abc123。只有版本号一致highlight 才能用当前部署对应的 source map 还原当前 bundle 的错误堆栈。若省略--appVersionsource map 会以unversioned目录存储此时初始化 SDK 时也不要传version选项参见浏览器 Sourcemap 配置指南。六、Next.js 路由组Route Groups兼容处理Next.js 应用路由App Router支持用(group)语法组织目录例如app/(marketing)/about/page.tsx。这类目录名不出现在 URL 中但会出现在产物与 source map 的相对路径里导致前端错误堆栈与已上传 source map 路径不匹配。0.6.2版本专门解决了此问题CHANGELOGsupport next.js route groups by removing frontend groups from paths。实现上工具会用正则(\(.?\))\/剥离路径中的路由组段src/lib.ts并为每个含路由组的文件额外上传一份去除了路由组的副本src/lib.ts从而保证前后端错误还原时都能命中正确的 map 文件const routeGroupRemovedPath file.replaceAll(new RegExp(/(\(.?\))\//gm), ); if (file ! routeGroupRemovedPath) { // also upload the file to a path without the route group for frontend errors map.push({ path: join(realPath, file), name: routeGroupRemovedPath }); }七、在 CI/CD 中集成完整示例将 source map 上传作为构建流水线的一步并在部署前删除.map文件避免把源码泄露到公网。highlight 官方文档给出如下脚本浏览器端 Sourcemap 配置#!/bin/sh # 1. 构建应用确保已开启 source map 生成 yarn build # 2. 上传 source maps 到 highlight.io # 若 H.init 传入了 version请补上 --appVersion ... npx --yes highlight-run/sourcemap-uploader upload --apiKey ${YOUR_ORG_API_KEY} --path ./build # 3. 删除 source maps防止随应用发布 find build -name *.js.map -type f -delete # 4. 部署应用 ./custom-deploy-scriptNode.js 后端场景如部署到 Lambda可参考错误监控文档假设 bundle 输出到./backend/dist而线上运行目录是/var/run/dist/则用--basePath对齐yarn highlight-run/sourcemap-uploader upload \ --apiKey ${HIGHLIGHT_API_KEY} \ --appVersion ${APP_VERSION} \ --path ./backend/dist \ --basePath /var/run/dist/八、本地开发与调试在仓库中开发该工具时README 给出本地验证方式sourcemap-uploader/README.mdyarn build node dist/index.js upload --apiKey YOUR_API_KEY --path YOUR_SOURCEMAP_DIRyarn build调用tsup打包见 package.json产物为dist/index.jsCLI 入口含#!/usr/bin/env nodeshebang与可供程序化引用的dist/lib模块exports同时提供 CJS 与 ESM 格式。九、版本演进速览结合 CHANGELOGsourcemap-uploader/CHANGELOG.md当前版本 0.6.3 的演进脉络如下0.6.1新增--backendUrl参数使自托管部署可指向自己的后端0.6.2支持 Next.js 路由组自动剥离(group)路径段并冗余上传一份副本0.6.3优化上传成功日志行便于 CI 日志阅读与排查。十、常见问题排查api key cannot be empty未通过--apiKey或环境变量HIGHLIGHT_SOURCEMAP_UPLOAD_API_KEY提供 Key。invalid api keyKey 未通过api_key_to_org_id校验请检查项目设置中的 API Key。No .js.map files found--path目录下没有生成.js.map请确认构建工具已开启 source map 输出如 TypeScript 的sourceMap: true、webpack 的devtool、esbuild 的sourcemap选项等。Unable to generate source map upload urls后端返回的 URL 列表为空多与 API Key 无效或路径前缀不符有关。自托管上传失败确认已通过--backendUrl指向自建后端且后端存储层如 S3配置了正确的 source map 桶后端对应配置项为AWS_S3_SOURCE_MAP_BUCKET_NAME_NEW见 backend/env/environment.go。结语highlight-run/sourcemap-uploader是 highlight.io 错误还原链路上承上启下的关键一环它用最少的参数完成校验 Key → 扫描 map → 申请签名 URL → 并发直传四步流程并通过appVersion版本对齐、basePath路径映射、Next.js 路由组剥离等设计确保线上错误堆栈能稳定命中正确的 source map。将本文的命令与参数直接搬进你的 CI/CD 流水线即可让 highlight.io 的错误监控从压缩混淆的乱码堆栈升级为带源码预览的可读堆栈。赞分享可观测性后端【免费下载链接】highlighthighlight.io: The open source, full-stack monitoring platform. Error monitoring, session replay, logging, distributed tracing, and more.项目地址https://gitcode.com/gh_mirrors/hi/highlight点击查看免费下载相关推荐OpenReplay sourcemap-uploader 使用指南向自建 OpenReplay 实例上传 JS Source MapOpenReplay sourcemap uploader 使用指南向自建 OpenReplay 实例上传 JS Source Map sourcemap u可观测性开发工具前端后端highlight.io Next.js SDK 集成指南从后端错误监控到 Source Map 上传highlight.io Next.js SDK 集成指南从后端错误监控到 Source Map 上传 本文基于 highlight.io 开源仓库中的 Ne可观测性后端highlight.io 的 Vercel 集成完全指南Source Map 自动上传与 Log Drain 日志接入highlight.io 的 Vercel 集成完全指南Source Map 自动上传与 Log Drain 日志接入 本指南基于 highlight.io可观测性后端上一篇MMSegmentation 模型体系全解分割器架构、核心接口与数据预处理器原理下一篇联想拯救者工具箱免费开源的 Vantage 替代方案一篇装好配好的完整教程创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考