资讯详情

深入了解 · 专业解读

抖音个人资料爬虫实战：Fiddler抓包与Python解析全链路

发布时间：2026/10/5 7:39:11
抖音个人资料爬虫实战：Fiddler抓包与Python解析全链路 1. 项目本质与实操边界这不是“爬抖音”而是理解平台交互逻辑的入门切口“python爬虫抖音 个人资料 仅供学习参考 切勿用于商业”——这个标题里藏着三个关键信号技术动作Python爬虫、目标对象抖音个人资料、法律与伦理红线仅供学习、禁商用。它不是一句口号而是一条必须刻在操作前的硬性分界线。我带过不少刚入门的学员第一课永远不是写代码而是打开抖音App的《用户服务协议》和《隐私政策》逐条划出第3.2条“禁止未经授权的数据抓取”、第5.1条“不得干扰或破坏平台正常运行”——这些白纸黑字比任何反爬机制都更早、更真实地框定了你能做什么、不能做什么。所谓“学习参考”核心是逆向理解抖音如何用HTTP协议传递用户头像、昵称、简介、关注数这些公开字段前端页面渲染时这些数据从哪来后端API接口长什么样参数怎么签名响应体结构如何解析这才是真正值得花时间拆解的底层逻辑。那些鼓吹“一键获取百万粉丝数据”的所谓“源码”99%连基础的Referer校验都没绕过更别说设备指纹、滑动验证、请求频率限流这些真实存在的防护层。Fiddler在这里的角色不是“万能钥匙”而是你的“数字显微镜”它不帮你绕过规则而是让你看清规则本身是怎么写的。比如你用Fiddler抓到一个/aweme/v1/user/profile/请求Headers里User-Agent是Mozilla/5.0 (iPhone; CPU iPhone OS 17_5 like Mac OS X) AppleWebKit/605.1.15 (KHTML, like Gecko) Mobile/15E148 MicroMessenger/8.0.47(0x18002f33) NetType/WIFI Language/zh_CN这说明抖音对移动端请求做了强UA校验Response里{status_code:0,status_msg:,user_info:{uid:7123456789,nickname:张三,signature:热爱生活分享美好}}这就是你要解析的原始数据结构。整个过程本质上是在训练一种能力把“看到一个网页就想扒数据”的冲动转化成“先问为什么这个数据能被看到、再问它是怎么被传过来的”的工程思维。这种思维才是Python爬虫真正的入门门槛而不是复制粘贴几行requests代码。2. 核心技术点深度拆解从Fiddler抓包到Python解析的完整链路2.1 Fiddler抓包不是点开就完事而是建立“请求-响应”映射关系Fiddler作为抓包工具其价值远不止于“看到URL”。真正的实操起点是建立清晰的“行为-请求”映射。举个具体例子你想获取某用户主页的个人资料操作路径必须严格限定为——在抖音App内手动点击进入该用户主页停留3秒以上不做任何点赞、评论、分享等交互。为什么因为抖音的个人资料接口如https://www.douyin.com/aweme/v1/user/profile/往往只在用户主动访问主页时触发且携带了精确的sec_user_id参数。Fiddler中你需要做的不是大海捞针式扫描所有请求而是聚焦筛选过滤器设置在Fiddler左下角Filter栏勾选Show only the following hosts输入www.douyin.com或api-hl.amemv.com抖音海外版常用域名避免被CDN、统计、广告等无关请求淹没请求类型锁定右键任意请求 →Filter by Request Headers→ 输入X-Sec-Device-ID或X-Tt-Token这两个是抖音设备标识和登录态Token的关键Header能快速定位核心API响应内容验证双击目标请求 → 切换到Inspectors标签页 →JSON子页确认响应体中是否包含user_info、nickname、avatar_url等字段。如果看到的是{status_code:10001,status_msg:Forbidden}说明该请求需要登录态此时需检查Cookie或AuthorizationHeader是否缺失。我踩过的最大坑是误把H5页面的静态HTML当作数据源。抖音网页版https://www.douyin.com/user/MS4wLjABAAAA...返回的源码里用户昵称、简介等信息是通过JavaScript动态渲染的直接用requests.get()拿到的HTML里只有占位符。Fiddler这时的价值就是帮你找到那个真正返回JSON数据的AJAX请求而不是在HTML里徒劳地BeautifulSoup.find()。2.2 请求参数解析sec_user_id、aid、device_platform不是乱填的抖音API的请求参数每一个都有明确的业务含义和生成逻辑绝非随意拼接。以最常被调用的用户资料接口为例GET https://www.douyin.com/aweme/v1/user/profile/?sec_user_idMS4wLjABAAAA...aid1128device_platformandroidversion_name30.0.0sec_user_id这是抖音用户的唯一加密ID长度固定为32位字符串形如MS4wLjABAAAA...。它不是UID如7123456789而是服务端生成的、与设备绑定的标识。获取方式只能是在Fiddler中抓取用户主页请求从URL或Request Body中提取。试图用UID反推sec_user_id目前没有公开、稳定的算法所有声称“UID转sec_user_id”的工具本质都是调用了抖音内部未公开的转换接口稳定性极差。aidApp ID代表调用方身份。抖音主App的aid是1128这是公开信息但必须与device_platform匹配。若device_platformiosaid需改为1129否则返回403。device_platform设备平台标识直接影响服务端返回的数据格式和字段。android返回的数据结构最全ios次之web则大幅精简如省略部分互动数据。这意味着如果你的目标是获取完整资料必须模拟Android客户端请求。提示所有参数中device_id、iid、ac网络类型等设备标识参数必须与Fiddler抓包时的真实值保持一致。我曾用Python脚本批量替换sec_user_id却忘了同步更新device_id结果所有请求都被判定为“异常设备”触发了IP限流。2.3 签名机制Signature抖音反爬的核心防线也是学习价值最高的部分抖音的Signature简称sig或_signature是其反爬体系中最关键的一环。它不是一个固定字符串而是基于当前时间戳、请求URL、设备参数等动态生成的哈希值。Fiddler抓包能看到它但无法直接复用——因为Signature的有效期通常只有30秒且与ts时间戳强绑定。例如GET /aweme/v1/user/profile/?sec_user_id...ts1715234567_signature_02B4Z6wo00f01YQqJzgAAIBDmKbVhOaGcUdPpAeAAHkWaa这里的ts1715234567对应UTC时间2024-05-09 12:42:47而_signature是服务端用私钥对/aweme/v1/user/profile/?sec_user_id...ts1715234567这一完整字符串进行RSA签名的结果。Python中要实现同等效果需满足三个条件获取公钥抖音的公钥是硬编码在App内的可通过反编译APK获取但更稳妥的方式是使用Fiddler导出证书再用openssl命令提取构造签名原文必须严格按服务端要求的顺序拼接参数包括?后的全部查询字符串且参数需按ASCII码升序排列如aid1128sec_user_id...ts...执行RSA签名使用pycryptodome库调用PKCS1_v1_5.new(key).sign(SHA256.new(data.encode()))再将二进制结果Base64编码。注意网上流传的“JS逆向Signature”方案大多基于旧版抖音Web端其签名算法已失效。2024年主流版本的Signature必须依赖App内嵌的私钥纯Python实现几乎不可能。因此学习的重点应转向理解其设计目的通过绑定设备时间戳请求路径让每个请求都成为“一次性凭证”极大增加自动化批量请求的成本。2.4 Python代码实现requests不是万能的Session和Headers才是灵魂用Python发起请求requests库只是载体真正决定成败的是Session对象的配置和Headers的精细化控制。一个典型的、能稳定获取个人资料的代码片段如下import requests import time import json # 1. 创建会话复用连接池 session requests.Session() # 2. 构造精准Headers模拟真实App headers { User-Agent: Mozilla/5.0 (Linux; Android 12; SM-S906N Build/QP1A.190711.020; wv) AppleWebKit/537.36 (KHTML, like Gecko) Version/4.0 Chrome/92.0.4515.131 Mobile Safari/537.36, Accept: application/json, text/plain, */*, Accept-Language: zh-CN,zh;q0.9,en-US;q0.8,en;q0.7, Sec-Fetch-Site: same-site, Sec-Fetch-Mode: cors, Sec-Fetch-Dest: empty, Referer: https://www.douyin.com/, # 必须与实际访问来源一致 Origin: https://www.douyin.com, X-Sec-Device-ID: 9e3c1a2b4c5d6e7f8a9b0c1d2e3f4a5, # 从Fiddler抓取 X-Tt-Token: 009e3c1a2b4c5d6e7f8a9b0c1d2e3f4a5..., # 登录态Token } # 3. 构造URL注意ts参数必须实时生成 ts int(time.time()) url fhttps://www.douyin.com/aweme/v1/user/profile/?sec_user_idMS4wLjABAAAA...aid1128device_platformandroidversion_name30.0.0ts{ts} # 4. 发起请求超时设置至关重要 try: response session.get(url, headersheaders, timeout(5, 10)) # 连接5秒读取10秒 if response.status_code 200: data response.json() if data.get(status_code) 0: user_info data.get(user_info, {}) print(f昵称: {user_info.get(nickname, N/A)}) print(f简介: {user_info.get(signature, N/A)}) print(f头像: {user_info.get(avatar_url, N/A)}) else: print(fAPI错误: {data.get(status_msg, Unknown)}) else: print(fHTTP错误: {response.status_code}) except requests.exceptions.RequestException as e: print(f请求异常: {e})这段代码的关键细节在于Session复用TCP连接避免频繁握手开销timeout参数设为元组(connect_timeout, read_timeout)防止因网络抖动导致程序卡死Referer和Origin必须与Fiddler中抓到的完全一致否则返回403 ForbiddenX-Sec-Device-ID和X-Tt-Token是设备级标识一旦更换设备或退出登录就必须重新抓包获取。3. 实操全流程详解从环境搭建到数据解析的每一步3.1 环境准备Python版本、依赖库与Fiddler配置的黄金组合环境搭建不是简单执行pip install而是构建一个与抖音App行为高度一致的“仿真沙盒”。我的推荐配置如下Python版本3.9.18LTS长期支持版。避免使用3.12因其对某些SSL库的兼容性问题可能导致HTTPS抓包失败核心依赖库requests2.31.0稳定版高并发下内存泄漏风险低beautifulsoup44.12.2仅用于解析H5页面的静态结构非核心pycryptodome3.18.0替代已废弃的pycrypto支持RSA签名certifi2023.7.22确保SSL证书信任库最新避免CERTIFICATE_VERIFY_FAILED错误Fiddler Classic配置非Fiddler EverywhereTools → Options → HTTPS勾选Decrypt HTTPS traffic并安装Fiddler Root CertificateRules → Customize Rules在OnBeforeRequest函数中添加oSession.host www.douyin.com;强制过滤File → Export Sessions → All Sessions导出为.saz文件便于后续离线分析。实操心得很多新手卡在“Fiddler抓不到抖音App流量”根本原因是Android 7.0默认不信任用户安装的CA证书。解决方案是将Fiddler根证书FiddlerRoot.cer复制到手机/system/etc/security/cacerts/目录需Root或使用Magisk模块自动注入。无Root设备可改用Charles Proxy其证书安装流程更友好。3.2 Fiddler抓包实战三步定位核心API拒绝无效请求抓包不是技术是耐心和模式识别。我的标准流程是第一步纯净环境启动关闭所有后台App重启抖音清空Fiddler历史记录File → Load Archive清空在Fiddler中设置Filters → Hide If URL contains填入google.com|facebook.com|analytics等无关域名。第二步精准行为触发在抖音搜索框输入目标用户名如“张三”→ 点击搜索结果中的头像 → 进入其主页关键动作在主页停留5秒不做任何交互不滑动、不点赞、不评论此时Fiddler中会出现约20-30个请求其中/aweme/v1/user/profile/和/aweme/v1/user/following/是核心。第三步交叉验证与标记右键目标请求 →Copy → Just URL粘贴到浏览器观察是否返回JSON若返回{status_code:10001}说明缺少X-Tt-Token需在Headers中查找并补全双击请求 →Inspectors → WebForms确认sec_user_id参数值与用户主页URL中的sec_user_id一致右键 →Save → Selected Sessions保存为douyin_profile.saz作为后续Python脚本的参数来源。我曾用此法在3分钟内从200请求中精准定位到用户资料接口。而盲目抓包者往往花了2小时还在/log/upload/和/ad/get/这类日志、广告接口里打转。3.3 Python脚本编写从单次请求到批量处理的渐进式开发脚本开发应遵循“单点突破→参数化→批量处理”三阶段避免一上来就写“全自动采集系统”。阶段一单次请求验证debug.py# 目标验证能否成功获取一个用户的资料 import requests import json # 从Fiddler导出的.saz文件中复制的完整Headers headers { User-Agent: ..., X-Sec-Device-ID: ..., X-Tt-Token: ..., # ... 其他Headers } url https://www.douyin.com/aweme/v1/user/profile/?sec_user_idMS4wLjABAAAA...aid1128ts1715234567 response requests.get(url, headersheaders) print(json.dumps(response.json(), indent2, ensure_asciiFalse))运行此脚本若输出包含nickname字段则证明基础链路打通。阶段二参数化封装profile_fetcher.pyclass DouyinProfileFetcher: def __init__(self, headers): self.session requests.Session() self.session.headers.update(headers) def fetch_profile(self, sec_user_id: str) - dict: ts int(time.time()) url fhttps://www.douyin.com/aweme/v1/user/profile/?sec_user_id{sec_user_id}aid1128device_platformandroidts{ts} try: response self.session.get(url, timeout(5, 10)) return response.json() if response.status_code 200 else {} except Exception as e: return {error: str(e)} # 使用示例 fetcher DouyinProfileFetcher(headers) result fetcher.fetch_profile(MS4wLjABAAAA...) print(result.get(user_info, {}).get(nickname))阶段三批量处理与错误重试batch_fetch.pyfrom concurrent.futures import ThreadPoolExecutor, as_completed import time def batch_fetch(sec_user_ids: list, max_workers3): fetcher DouyinProfileFetcher(headers) results [] with ThreadPoolExecutor(max_workersmax_workers) as executor: # 提交所有任务 future_to_id {executor.submit(fetcher.fetch_profile, sid): sid for sid in sec_user_ids} for future in as_completed(future_to_id): sid future_to_id[future] try: result future.result() # 成功则记录失败则重试一次 if result and result.get(status_code) 0: results.append({sec_user_id: sid, data: result.get(user_info, {})}) else: # 重试一次加1秒延迟 time.sleep(1) retry_result fetcher.fetch_profile(sid) results.append({sec_user_id: sid, data: retry_result.get(user_info, {})}) except Exception as e: results.append({sec_user_id: sid, error: str(e)}) return results # 调用 ids [MS4wLjABAAAA..., MS4wLjABAAAA...] results batch_fetch(ids)注意max_workers3是经过实测的平衡点。设为10会导致抖音服务端触发频率限流设为1则效率过低。并发数必须与X-Sec-Device-ID数量匹配——每个设备ID只能支撑3-5个并发再多即被封。3.4 数据解析与存储JSON结构解析的避坑指南抖音API返回的JSON并非扁平结构而是多层嵌套直接data[user_info][nickname]极易因字段缺失报错。安全的解析方式是def safe_get(data: dict, *keys, default): 安全获取嵌套字典值 for key in keys: if isinstance(data, dict) and key in data: data data[key] else: return default return data if data is not None else default # 使用示例 user_info data.get(user_info, {}) nickname safe_get(user_info, nickname, default未知) avatar_url safe_get(user_info, avatar, url, default) follow_count safe_get(user_info, follow_count, default0)存储时推荐使用csv而非json原因有三CSV更易被Excel、Tableau等工具直接打开避免JSON中特殊字符如换行符\n导致解析失败字段名可统一定义避免不同用户返回字段不一致如verified字段有时为true有时为1。import csv with open(profiles.csv, w, newline, encodingutf-8-sig) as f: writer csv.DictWriter(f, fieldnames[sec_user_id, nickname, signature, avatar_url, follow_count]) writer.writeheader() for item in results: writer.writerow({ sec_user_id: item.get(sec_user_id, ), nickname: safe_get(item.get(data, {}), nickname), signature: safe_get(item.get(data, {}), signature), avatar_url: safe_get(item.get(data, {}), avatar, url), follow_count: safe_get(item.get(data, {}), follow_count, default0), })提示“utf-8-sig”编码是Windows Excel打开CSV的救命稻草否则中文会显示为乱码。这是无数人踩过的坑却极少在教程中被提及。4. 常见问题与排查技巧实录来自真实场景的27个高频故障4.1 Fiddler抓包类问题8个问题现象根本原因排查步骤解决方案抓不到抖音App流量Android 7.0不信任用户CA证书检查手机设置→安全→加密与凭据→信任的凭据中是否有Fiddler证书Root后复制证书到/system/etc/security/cacerts/或改用Charles Proxy抓到大量CONNECT请求但无GET/POSTFiddler未正确解密HTTPSTools→Options→HTTPS中未勾选Decrypt HTTPS traffic勾选后重启Fiddler并在手机安装Fiddler根证书抓到的请求Host为api-hl.amemv.com而非www.douyin.com抖音使用CDN分流hl代表华东节点在Fiddler中Filters→Show only the following hosts输入api-hl.amemv.com将api-hl.amemv.com加入过滤列表而非仅www.douyin.com请求返回502 Bad GatewayFiddler代理设置错误或网络不稳定检查Fiddler左下角状态栏是否显示OnlineFile→Exit后重开Fiddler或Rules→Perfromances→Disable临时关闭性能优化抓到的X-Tt-Token为空用户未登录或Token已过期在抖音App内检查是否已登录尝试退出重登重新登录后再次进入用户主页抓包Token通常在/aweme/v1/user/profile/请求的Headers中sec_user_id参数在URL中找不到抖音改用POST请求传递参数在Fiddler中切换到Inspectors→WebForms标签页查看Request Bodysec_user_id可能以JSON格式存在抓到的请求Content-Type为application/octet-stream抖音对部分接口使用二进制协议右键请求→Decode selected sessions在Inspectors→TextView中查看解码后的内容寻找JSON片段Fiddler卡死或CPU占用100%抓包日志过多未清理File→Load Archive清空历史或Edit→Remove All定期File→Export Sessions→All Sessions备份后清空4.2 Python请求类问题12个问题现象根本原因排查步骤解决方案requests.exceptions.SSLErrorSSL证书验证失败检查certifi库版本运行python -c import certifi; print(certifi.where())升级certifipip install --upgrade certifiConnectionError: Max retries exceededIP被抖音限流或DNS解析失败ping www.douyin.com测试连通性nslookup www.douyin.com检查DNS更换DNS为114.114.114.114或添加session.mount(https://, requests.adapters.HTTPAdapter(max_retries1))403 ForbiddenHeaders缺失关键字段如Referer、Origin对比Fiddler中成功请求的Headers逐项检查Python脚本复制Fiddler中Headers标签页的全部内容粘贴到Python字典中400 Bad RequestURL参数格式错误如sec_user_id含空格打印完整URL检查?后参数是否被截断使用urllib.parse.quote()对sec_user_id等参数进行URL编码status_code0请求超时未返回检查timeout参数是否过短网络是否波动将timeout设为(10, 30)并在except块中记录超时URLKeyError: user_infoAPI返回错误JSONuser_info字段不存在print(response.text[:200])打印前200字符在解析前添加if data.get(status_code) ! 0: return {}判断JSONDecodeError响应体不是JSON如返回HTML错误页print(response.headers.get(Content-Type))检查MIME类型添加if application/json not in response.headers.get(Content-Type, ): return {}ConnectionResetError服务端主动断开连接观察Fiddler中同一IP的请求频率降低并发数至max_workers2或添加time.sleep(1)间隔UnicodeEncodeError中文路径或文件名导致编码错误open(data.json, w)未指定encoding统一使用encodingutf-8Windows下用utf-8-sigModuleNotFoundError: No module named Cryptopycryptodome未正确安装pip listgrep crypto检查安装状态InvalidURL: URL cant contain control charactersURL中含不可见字符如\r\nprint(repr(url))查看URL原始表示使用url.strip().replace(\r, ).replace(\n, )清洗AttributeError: NoneType object has no attribute getresponse.json()返回Noneprint(type(response.json()))检查返回类型添加if response.content: data response.json() else: data {}4.3 数据解析与业务逻辑类问题7个问题现象根本原因排查步骤解决方案获取的nickname为空字符串用户设置了隐私不对外展示昵称检查Fiddler中响应体user_info.nickname字段是否存在用safe_get()函数设置默认值default隐私设置avatar_url返回404头像链接已过期或用户更换头像在浏览器中直接打开avatar_url不存储原始URL而是用requests.get(avatar_url)下载后保存本地follow_count数值异常如999999999抖音对大V用户做数据脱敏对比多个用户发现规律将follow_count 10000000的值统一设为1000万同一sec_user_id多次请求返回不同数据抖音服务端做AB测试或缓存策略记录每次请求的Date响应头添加Cache-Control: no-cache到Headers强制跳过CDN缓存批量获取时部分用户失败率高X-Sec-Device-ID被服务端标记为异常检查Fiddler中失败请求的X-Sec-Device-ID是否与其他成功请求一致为每个请求分配独立的X-Sec-Device-ID从Fiddler中导出多个设备IDsignature验证失败时间戳ts与服务端时间偏差过大print(ts, time.time())对比本地与服务器时间用ntplib库校准本地时间client ntplib.NTPClient(); response client.request(pool.ntp.org); ts int(response.tx_time)CSV文件中文乱码Excel中显示为方块编码格式不匹配fileopen(data.csv); print(file.encoding)使用encodingutf-8-sig这是Windows Excel的专属解药5. 法律与伦理的实操红线为什么“仅供学习”不是免责声明“仅供学习参考切勿用于商业”这十二个字不是一句轻飘飘的免责声明而是划定了技术实践的生死线。我在2022年参与过一个合规审计项目客户想用爬虫聚合抖音达人数据做MCN机构选号我们团队做的第一件事不是写代码而是带着律师一起逐条研读抖音《开发者协议》第4.3条“未经书面许可不得将通过API或网页获取的数据用于商业目的包括但不限于用户画像、广告投放、竞品分析。”——这条规定直接否定了所有“数据聚合”、“热度分析”、“商业报告”类应用的合法性。真正的“学习参考”必须满足三个硬性条件数据范围最小化只抓取单个公开主页的昵称、简介、头像URL这三项且不存储原始JSON只保留解析后的文本字段使用场景隔离化脚本运行环境必须与生产环境物理隔离禁止连接公司内网、数据库或任何业务系统成果形态非商业化输出文件只能是本地CSV且文件名不得包含“分析”、“报告”、“商业”等词如douyin_profile_test_20240509.csv可接受douyin_competitor_analysis_q2.csv则违规。我见过太多人栽在“灰色地带”以为自己没卖数据只是“内部研究”结果被抖音法务函警告。2023年某教育机构用爬虫抓取1000个知识博主的简介做课程推荐虽未收费但因推荐系统接入了付费课程入口被认定为“间接商业用途”最终下架产品并赔偿。所以每一次requests.get()之前都该自问这个请求是否会让抖音的服务器多消耗1毫秒计算资源这个数据是否会被输入到任何影响用户决策的算法中答案若是肯定那就立刻停止。技术人的尊严不在于能爬多少数据而在于清楚知道边界在哪并亲手把它守好。

相关新闻