1. 项目背景与核心价值最近在帮朋友做职业规划时发现一个很有意思的现象同样都是3年经验的Java开发在不同招聘平台上的薪资范围能差出30%。这让我萌生了用爬虫技术抓取全网招聘数据做个客观薪资分析的想法。招聘数据爬取是个典型的技术业务结合场景。从技术角度看它涵盖了反爬对抗、数据清洗、分布式采集等爬虫工程师的核心技能从业务价值看清洗后的数据可以生成行业薪资热力图、技能需求词云等可视化报表对求职者和HR都有参考意义。这个项目特别适合想转行IT的人了解各岗位真实薪资水平准备跳槽的开发者掌握市场行情避免被压价数据分析初学者真实数据集练手爬虫学习者综合实战案例重要提示爬取招聘网站需严格遵守robots.txt协议控制请求频率建议≤2次/秒建议在非工作时间段运行脚本2. 技术方案设计2.1 目标网站分析以主流招聘平台为例具体平台名略其数据特点如下网站类型数据特点反爬措施综合类岗位多但信息分散IP限流、验证码垂直类领域集中但数据量少登录态校验新兴平台数据结构规整前端加密参数2.2 爬虫架构设计采用分层架构保证扩展性├── scheduler/ # 任务调度 │ ├── redis_queue.py ├── downloader/ # 下载器 │ ├── selenium_spider.py │ ├── requests_spider.py ├── parser/ # 解析器 │ ├── xpath_parser.py │ ├── regex_parser.py ├── storage/ # 存储 │ ├── mongodb.py │ ├── csv_handler.py └── config.py # 全局配置关键组件选型请求库优先用requestshttpx组合动态页面上Playwright解析库lxml比BeautifulSoup快3倍适合大批量处理去重BloomFilter内存占用比Redis set小80%存储MongoDB支持灵活字段方便后续分析3. 核心代码实现3.1 智能分页控制招聘网站常用三种分页方式传统页码分页如?page2滚动加载XHR请求混合模式前10页用1之后用2def handle_pagination(url_template, max_page): for page in range(1, max_page1): if page 10: url url_template.format(page) # 传统分页 else: url f{base_url}/jobs/positionAjax.json # 异步加载 params { first: false, pn: page, kd: keyword } yield scrapy.Request(url, meta{page: page})3.2 反反爬策略实践根据实测经验总结的应对方案反爬手段解决方案示例代码片段请求头校验轮换User-Agentheaders {User-Agent: random.choice(USER_AGENTS)}IP限制代理IP池自动切换proxies {http: get_proxy()}行为验证码接入打码平台captcha RuoKuai.decode(img)参数加密逆向JS调试_token execjs.compile(js_code).call(getToken)踩坑记录某网站会检测鼠标移动轨迹用PyMouse模拟真人操作后通过率从30%提升到92%4. 数据分析实战4.1 数据清洗流程原始数据常见问题薪资范围15k-30k vs 面议工作年限3-5年 vs 三年以上公司规模100-499人 vs C轮清洗代码示例def clean_salary(salary_str): if 面议 in salary_str: return None nums re.findall(r(\d)k, salary_str) if len(nums) 2: return (int(nums[0]) int(nums[1])) / 2 elif 以上 in salary_str: return int(nums[0]) * 1.54.2 可视化分析使用PyEcharts生成三类关键图表薪资分布箱线图from pyecharts.charts import Boxplot boxplot Boxplot() boxplot.add_xaxis([Java,Python,Go]) boxplot.add_yaxis(薪资, prepare_box_data())技能词云from pyecharts.charts import WordCloud wordcloud WordCloud() wordcloud.add(, word_freq, word_size_range[20, 100])地域热力图from pyecharts.charts import Geo geo Geo() geo.add_schema(maptypechina) geo.add(平均薪资, city_salary, type_heatmap)5. 性能优化技巧5.1 分布式加速采用RedisScrapy组合实现分布式# settings.py SCHEDULER scrapy_redis.scheduler.Scheduler DUPEFILTER_CLASS scrapy_redis.dupefilter.RFPDupeFilter REDIS_URL redis://:passwordip:port/db # 启动多个worker scrapy runspider spider.py -s REDIS_URLredis://...5.2 智能限速算法动态调整请求间隔class AutoThrottleMiddleware: def __init__(self): self.last_response_time None def process_request(self, request, spider): if self.last_response_time: interval random.uniform(0.8, 1.2) * (time.time() - self.last_response_time) time.sleep(max(interval, 0.5)) # 不低于0.5秒实测效果对比固定1秒间隔日均采集量≈3万条动态调整日均采集量≈7万条无封IP6. 法律合规要点6.1 robots.txt解析自动遵守协议规则from urllib.robotparser import RobotFileParser rp RobotFileParser() rp.set_url(https://www.lagou.com/robots.txt) rp.read() if not rp.can_fetch(*, job_url): logger.warning(fSkip forbidden URL: {job_url})6.2 数据脱敏处理对敏感字段进行MD5哈希import hashlib def anonymize(data): if contact in data: data[contact_md5] hashlib.md5(data[contact].encode()).hexdigest() del data[contact] return data我在实际项目中总结出三个原则只采集公开可见数据单IP请求间隔≥500ms数据仅用于统计分析不转售7. 完整项目扩展进阶功能实现思路实时预警系统当目标岗位薪资波动超过15%时触发邮件通知def check_salary_change(): current get_avg_salary(Python) historical get_historical_data() if abs(current - historical) / historical 0.15: send_alert_email()技能关联分析用Apriori算法找出常一起出现的技能组合from mlxtend.frequent_patterns import apriori frequent_itemsets apriori(skill_matrix, min_support0.1, use_colnamesTrue)Docker化部署FROM python:3.9 RUN pip install scrapy redis pymongo COPY . /app WORKDIR /app CMD [scrapy, crawl, jobs]这个项目最让我意外的发现是同一城市同岗位薪资外包公司比甲方平均低28%但技能要求反而多2-3项。下次再遇到猎头推外包岗位就知道该怎么谈薪资了。