如果有一天你的网站日志在凌晨三点出现一根不正常的流量尖峰点开明细看到的不是真实用户而是一串名字里带着 bot 的客户端你会先封掉它还是先记录它在欧洲很多出版商的运维流程里这个选择已经持续了很久。最近有一类行业调查给出一个不太让人意外的结论European publishers are getting hit harder by AI bot scraping。欧洲出版商正在被 AI 机器人抓取问题困扰得更深。这不是一次普通爬虫骚扰。它背后是一个正在重新洗牌的内容生产和分发系统。如果你只是把它理解成“有人偷了我的文章”那你很可能低估了问题的规模如果你急着把所有机器人全部封掉又可能把搜索引擎也一起挡在门外损失的流量比被抓取的损失更大。我想把这个问题拆开来看AI bot scraping 到底在找什么为什么欧洲出版商感受更明显传统反爬手段为什么不够用以及一个内容型站点到底该怎么一步步应对。1. AI Bot Scraping 为什么让出版商比平台更紧张1.1 先理解什么叫“被更严重地抓取”很多人对抓取的印象还停留在搜索引擎时代Googlebot 每天来访问页面把内容收到索引里然后在搜索结果里回链给用户。普通站点的站长是欢迎这种抓取的因为流量会回来。AI bot scraping 的差别在于它的抓取目标并不都是为了给你的网站带去流量。AI 爬虫大致分两类。一类是训练型抓取比如大模型厂商用大量公开网页做预训练语料抓取的是“内容本身”不一定在乎版权也不承诺带你流量。另一类是检索增强型抓取也就是说当用户向 AI 提问时系统临时去实时抓取相关网页生成一个带摘要的回答。这第二类产品里有一些会给出来源链接但用户通常不会再点回到原文。对普通技术博客来说被部分抓取未必是灾难。但对出版商来说每篇文章背后都有人工成本、编辑成本、事实核查成本甚至很多内容本身就是产品本体。一篇深度报道从选题到发布可能要花掉一个团队数周时间如果 AI 产品几秒内就把它压缩成一段摘要出版商的商业模式就会受到双重挤压既没有拿到授权收入也没有换来访问流量。报道里说欧洲出版商“被更严重地抓取”这个结论并不是说欧洲网站在技术上更容易被攻击而是说它们的内容价值密度高同时被替代的感受最明显。1.2 欧洲出版商的结构性位置内容越重要越怕被截流为什么重点在欧洲欧洲的内容市场结构和北美不完全一样。欧洲存在大量以语言和国别为边界的出版商比如德语、法语、意大利语、西班牙语的本土新闻媒体。它们不像大型平台那样拥有强大的基础设施很多工作流依赖 WordPress 或简单 CMS。这类站点的反爬能力有限面对没有统一指纹的 AI 爬虫往往连检测能力都没有。同时欧洲版权体系对新闻出版者有比较明确的邻接权保护。过去几年也有一些版权立法动作方向是希望搜索引擎和使用新闻摘要的平台向出版商支付费用。当法律环境给人的预期是“内容应该被授权使用”却被 AI 爬虫悄悄抓走时情绪上反应会更强烈因为这不是技术波动导致的流量下降而是规则本身被绕过了。如果你在一个资源有限、内容成本很高、版权保护预期又很强的行业里被抓取带来的困扰天然会比一个靠 UGC 撑起来的 UGC 社区更大。一位用户的抱怨可以忽略不计但一个每天产出大量原创长篇报道的新闻机构会非常在意每一次训练爬虫和每一次 AI 问答引用。因为这些机构生产的内容正是大模型想要的高质量语料。这也解释了为什么欧洲出版商的反应往往不是“我们怎么把爬虫抓出来”而是“我们有没有权利决定这些内容能不能被 AI 扫走”。对它们来说抓取问题从第一天起就是一个授权问题而不只是一个访问日志问题。2. AI 爬虫抓走的不是一篇文章而是内容与读者之间的通路2.1 一次抓取与一次训练抓取不是一个数量级搜索引擎爬虫虽然也扫荡式抓取但它通常会遵循一个相对明确的节奏发现新链接、抓取、解析、入索引。AI 训练型爬虫则可能在短时间内对同一批 URL 反复发起请求。尤其在数据集迭代的时候它会重新抓取整个域名或整个高频内容列表访问频率往往高于普通搜索引擎。很多出版商的服务器扩容是围绕真实用户峰值设计的。一旦应对用户访问的服务器突然涌入一个持续数小时的爬虫任务CPU、带宽和数据库连接都会出现明显波动。更麻烦的是你无法从单次请求看出它是不是“恶意”因为它可能就是按照 robots 协议来的普通 HTTP 客户端只是量大你没预料到。单次抓取可能只是几 KB 的页面 HTML看起来不严重。但当爬虫把过去五年的历史稿件全部拉走时实际上相当于复制了一个网站的全文数据库。有没有第一时间被搜索引擎收录只是运营层面的问题而被人完整拉走就涉及未来还有没有机会售卖这些内容的权益。2.2 从训练语料到 AI 搜索结果两种影响路径AI 爬虫抓走内容之后的用途会决定你的应对策略。一种用途是训练大模型。内容被压缩进模型参数里之后当用户问相关问题时模型可能通过参数记忆输出摘要或改写片段。这种影响很难追踪因为你很难证明某段输出到底来自哪一次训练抓取。对于出版商来说它的可怕之处在于“不可见”文章成了模型的一部分但没有任何点击回到你的网站。另一种用途是实时检索。AI 在产品侧收到问题时会在一段时间内抓取相关页面然后直接生成答案。这种模式更接近搜索引擎爬虫但少了一个关键环节用户点击。搜索结果页把十个蓝色链接放在页面上用户自己决定要不要点。AI 答案则把判断压缩成了一个自然语言回答很多时候读者拿到答案后根本不需要再去原站。这两种用途的差别很大。对前者你可能要考虑是否允许训练爬虫进入。对后者你应该评估 AI 产品是否提供了来源引用以及引用能不能带来有效流量。这里最容易犯的错误是只看“有没有被抓”却不看抓了之后流向哪里。如果一个 AI 爬虫每天来抓取几十篇文章但它生成的答案每次都保留了明确的原文链接并且确实有不少用户通过链接点了进来那它对内容方来说更接近“推荐渠道”而不是“替代渠道”。反过来如果某个爬虫抓走全文却从不带来源那才需要警惕。3. 传统反爬手段会失效要么看不见要么有代价3.1 robots.txt 不是门锁更像“请勿打扰”牌子很多内容站的第一步反应是在robots.txt里把所有已知 AI 爬虫的名字写进 Disallow。这当然是一个必要动作但请明白它的边界。robots.txt 是一个君子协定它只约束愿意遵守的爬虫。对于 OpenAI、Google、Anthropic 等公开披露其 bot UA 的大型机构robots 通常有效。因为它们不希望公开违反网站意愿否则会在授权谈判里制造负面记录。问题在于AI bot scraping 绝不是只有这几家。还有很多抓取流量来自没有公开身份、伪装成普通浏览器的程序也可能来自接入大模型 API 的第三方应用。这些程序根本没有识别 robots.txt 的动机你的 Disallow 对它们来说等于不存在。因此如果某个 Publisher 以为“我已经在 robots 里屏蔽了 GPTBot所以 AI 爬虫已经挡完了”那基本是自欺欺人。甚至有一些爬虫会返回完全随机的 UA你无法通过 UA 黑名单把它抓出来。3.2 伪装、代理和分布式请求会绕过高阈值封禁假设一个没有 UA 的异常程序持续访问你把它加入了防火墙黑名单。普通爬虫确实会被封掉。但稍微成熟一点的抓取方可以很轻易换新 UA也可以把请求分布到世界各地的 IP 池。你要继续封就得和它比更新速度这是一场没有终点的军备竞赛。还有个更隐蔽的问题搜索引擎也在使用非常态化的抓取节点部分 AI 搜索服务的爬虫也会用多个机房出口。如果你设的防火墙规则太敏感很容易把一些无法简单识别的抓取节点一起封掉导致 Bing、Google 或其他搜索产品的收录率下降。这非常尴尬你想防 AI 爬虫结果正常搜索引擎的收录先掉了。3.3 识别不了就无法衡量损失比被爬取更严重的问题是很多内容站根本不知道发生了什么。如果你的网站没有开启访问日志或日志只保留三天那你很难回溯一个高频率 AI 爬虫持续抓了多久。如果没有人每天看 Nginx 日志你只能在服务器负载异常或流量大幅下降之后才开始排查。而到了那个阶段往往已经抓完很久了。这也是我认为欧洲出版商“更严重”的原因之一是它们在追责和监测层面没有做好准备导致问题已经发生很久才被报道出来。从这个意义上说AI bot scraping 的第一次冲击不是版权侵害而是“监控失效”。你连对手是谁、从哪里来、抓了什么、频率多少都说不清楚后面的谈判、诉讼、封禁都无从谈起。所以应对 AI bot scraping 的第一步从来不是买一套最贵的防护产品而是先建立一个能看见异常流量的系统。4. 从识别到处置内容站点的一套可执行打法4.1 第一步先看日志确认你面对的是谁这里有一个比较通用的排查链路先看现象再看请求来源再看被访问的路径和频率最后才是策略调整。先找一个最简单的办法。如果你的站点是 Nginx可以临时统计一下最近一天访问量最大的 UA top 20awk {print $1, $12} /var/log/nginx/access.log | \ grep -v ^$ | \ sed s/.*\(.*\).*/\1/ | \ sort | uniq -c | sort -rn | head -20这段命令比较粗糙因为不同的日志格式各列不统一但它的作用是给你一个方向哪些“用户”在访问。如果再配合查看访问时间段和抓取深度基本能判断是否为异常访客。在日志里看到类似下面的 UA 时要结合你的策略看是否需要关注Mozilla/5.0 (compatible; GPTBot/1.2; https://openai.com/gptbot) Mozilla/5.0 (compatible; ClaudeBot/1.0; https://www.anthropic.com/claude-bot) Mozilla/5.0 (compatible; PerplexityBot/1.0; https://perplexity.ai/perplexitybot)但这些只是公开说明身份的爬虫。还有很多不会带上“bot”字样或干脆伪装成 Chrome 和 Safari。如果 Nginx 日志里出现大量来自某一 IP 段的 Header 没有用户 Cookie、没有 Referer、请求的却全是文章详情页的请求而且单 IP 在短时间内访问几十个 URL那么即使它的 UA 看起来像浏览器也基本可以判定为抓取程序。更稳妥的做法是结合防火墙和服务端监控工具查看访问者所在 IP 是否属于机房、数据中心或云服务商。这里有一个建议不要只看一天的日志。至少保留 7 到 30 天的日志这样才能发现那些低频、慢速、但持续不断抓取的爬虫。低频抓取有时比高峰抓取更危险因为它不容易触发阈值却会在几周内把你的整站内容慢慢复制走。4.2 第二步别急着全封先做分级策略看到陌生爬虫后最常见的做法是按 UA 直接禁掉比如在 Nginx conf 里写if ($http_user_agent ~* GPTBot|ClaudeBot|PerplexityBot) { return 403; }这个做法的优点是立刻生效能减轻服务器压力缺点是一刀切没有区分抓取类型。如果某个 AI 产品能带来可观的来源流量你把它的爬虫封了你自己的流量入口也断了。我更建议先给爬虫分级。比如可以画一个判断表爬虫类型是否遵守协议是否带来引用流量建议处置搜索引擎爬虫通常遵守是产生点击放行公开身份的 AI 训练爬虫通常遵守不一定按版权授权策略决定AI 搜索类爬虫带来源链接通常遵守可能带来流量先观察来源流量质量伪装 UA 的高频分布爬虫不遵守否重点封禁抓取付费内容、重复高频访问不遵守否必须接入内部限速与封禁分级之后你要在 robots.txt 里做更细的控制。比如如果你愿意让 AI 搜索产品抓取但不想让训练爬虫抓取付费文章可以这样写User-agent: GPTBot Disallow: /members/ Disallow: /premium/ User-agent: ClaudeBot Disallow: /members/ Disallow: /premium/如果你确实不希望任何 AI 训练爬虫抓取你的站点那么也可以直接对公开披露的 AI 爬虫全部 Disallow。但请注意你在做这个决定前最好先分析它的流量来源占比。如果某个 AI 产品已经给你带来不少有效访问把它完全屏蔽掉是要付出代价的。4.3 第三步在传输层和应用层设置护栏对于伪装 UA 的爬虫靠 UA 无法识别。这时需要另一层能力行为检测和频率限制。以 Nginx 为例你可以对同一个 IP 做简单的请求频率限制limit_req_zone $binary_remote_addr zonecontent_bot:10m rate10r/m;然后在对应站点下执行location /articles/ { limit_req zonecontent_bot burst20 nodelay; }这只是一种保护示例它不能区分真人和爬虫很可能误伤同一 IP 后面的真实用户。所以速率限制的阈值不能拍脑袋要先看网站上真实用户从哪里来。更好的办法是使用 CDN 或 WAF 的自定义规则利用 Bot Score、客户端指纹、JS 挑战等功能来识别非浏览器流量。在应用层还可以对核心内容接口做登录态要求。如果是新闻业网站很多内容本来就有付费墙那么只需要确保正常用户能看到摘要和引导订阅的页面全文必须登录或订阅后访问。这样即便爬虫拿到公开 URL也拿不到付费全文。相比在机器人身上花时间这个措施更实在。不过设置任何防护后都要验证不能只看“服务器负载降下来”。如果爬虫被挡住了搜索引擎却也被挡了那不是成功。你需要定期去搜索site:你的域名看看页面是否还在正常收录还要测试真实用户能否照常打开页面。建议每做一次封禁动作后连续观察三天服务器负载、正常页面打开耗时、搜索收录变化、异常请求数量。这四条曲线能帮你判断策略是否正确。4.4 不要忽略“残留抓取”的证据记录如果你怀疑某个爬虫长期抓取你的内容并且未来可能要发起一个版权争议或要求对方下架最好从今天就保存证据原始文章发布时间、页面快照、抓取日志中对应该爬虫的访问记录、robots.txt 规则变更历史。这些材料在争议中往往比截图更有效。可以去存储日志归档一份到对象存储保留至少 180 天或按你所在地区的合规要求决定。记录时最好包含时间戳、访问 IP、完整 UA、请求 URL、状态码和响应字节数。不要等出问题后再去找日志那时候日志可能已经被轮询删掉。5. 欧洲案例背后的长期命题把“可被抓取”变成“可被授权”5.1 欧洲做的不只是封禁而是试图重建许可秩序欧洲出版商的应对思路大致有几条线。技术线是在网站层拦截商业线是和 AI 公司洽谈授权法律线是借助版权规则主张权利。对许多普通内容站来说商业授权这条线比较远但可以先理解它的逻辑。在传统互联网里内容分发的默认规则是“开放访问广告收益”。搜索引擎可以抓取因为能换回点击所以这是一种隐性交易。到了 AI 时代训练爬虫抓走内容后不一定回传流量原来的隐性交易就不成立了。授权协议要做的事情是把“隐性的流量置换”改成“明确的费用交换”。欧洲一些大型新闻集团会和模型厂商签订内容使用条款允许其用特定时期的新闻内容来训练模型并支付费用。这本质上是把内容当作一种资产来销售而不是把 robots.txt 当作门锁。对于有版权、有历史内容积累的机构这种资产化路线会比单纯防爬更可持续。对中小内容站也许短期谈不下一个大的授权合同但你可以通过技术手段给内容打上更清晰的许可标签。比如标明页面的版权归属、允许或禁止用于模型训练使用语义化标记让机器能理解。至少在发生争议时你能提供“我从未允许”的证据。5.2 对普通运营者的长期建议观测、分权、登记把欧洲出版商的遭遇放回普通内容站视角我建议你建立一个“OCAR”框架把应对动作变成例行流程Observe 观测开启访问日志统计 UA、IP、路径、状态码识别高频异常访问。Classify 分权将请求分成搜索引擎、公开 AI 爬虫、未知爬虫、真实用户四类不搞一刀切。Act 行动在 robots.txt、CDN 防火墙、Web 服务限速三个层面采取不同强度的处置策略。Record 登记保留抓取记录、robots 配置历史、文章发布时间与抓取证据作为后续授权的凭据。这四步不要求你一次性完成。你可以今天先做“观测”把日志留出来明天再写 robots.txt下周再考虑是否要给接口加访问限制。重点是不要停在“到底要不要屏蔽 AI”这个情绪问题上先动手看数据很多答案会自动出现。5.3 不要只想挡住机器人要把内容做成“需要许可的资产”AI bot scraping 给内容行业带来的真正冲击不是某一个爬虫访问过多而是把“网络内容是否可以随便抓取”的问题重新翻了出来。过去网站默认公开爬虫来了就当是搜索引擎大家都习惯了。当大模型开始把公开网页变成训练语料时很多人发现原来“公开可读”和“授权使用”之间还有一道很宽的边界。欧洲出版商的抗议实质上是想在这道边界上建立一道有法律效力、有经济补偿的闸门。如果你在一个靠内容存活的团队里不要把 AI bot scraping 当成纯运维问题。你越早意识到“我的文章不仅是页面还是被训练、被检索、被再创作的对象”你就越会主动去做内容权益设计。最简单的做法是设置好内容许可描述、加好结构化信息、保留变更历史。然后你再根据实际情况决定是否允许哪些爬虫进来。防御只能降低伤害不能建立新的收入来源。只有把内容当成一种需要授权的资产才能在未来的 AI 内容生态里获得议价位置。最后如果你现在管理着一个内容网站最值得做的不是立刻去复制别人那串写得特别长的 User-Agent 黑名单而是打开日志先把最近 30 天里“谁是靠 Google 来的谁是靠推荐来的谁可能是每天深夜准时来的陌生人”这件事搞清楚。做完这一步你对 AI bot scraping 的认识就会超过大多数只会转发新闻的人。