影刀RPA 农产品价格监控批发市场行情自动采集作者林焱 | 分类影刀RPA新手教程 | 难度★★什么情况用做农产品贸易、社区团购、食堂采购的朋友每天都要盯批发市场价格。北京新发地、广州江南、上海江桥……每家市场都有自己的报价页面手动切换各城市逐个记录一上午就没了。更糟心的是价格波动快——早上7点和11点的报价可能差10%等你手工整理完已经错过了最佳采购窗口。用影刀RPA定时从各大批发市场网站采集行情自动录入Excel并做环比分析10分钟搞定全天工作。怎么做第一步确定数据源主流批发市场价格来源拼多多店群自动化上架方案北京新发地xinfadi.com.cn → 蔬菜、水果、肉类每日报价农业农村部全国农产品批发价格200指数 → pfscnew.agri.gov.cn地方农业信息网各省有自己的农产品价格发布页面本教程以新发地为例其他市场页面结构类似改URL和XPath即可。第二步采集新发地每日报价影刀操作动作【打开网页】→http://www.xinfadi.com.cn/priceDetail.html【等待元素】→ 等表格加载完成class“table_1”【获取元素列表】→ 提取所有行数据【循环】→ 遍历每一行获取品名、价格、单位、日期# 影刀Python节点清洗和标准化importpandasaspdfromdatetimeimportdatetime# 影刀从网页提取的原始数据price_data[{name:大白菜,low:0.80,avg:1.00,high:1.20,unit:斤,date:2026-06-28},{name:黄瓜,low:1.50,avg:2.00,high:2.50,unit:斤,date:2026-06-28},{name:西红柿,low:2.00,avg:2.60,high:3.20,unit:斤,date:2026-06-28},]dfpd.DataFrame(price_data)# 统一换算为元/kgdf[low_kg]df[low].astype(float)*2df[avg_kg]df[avg].astype(float)*2df[high_kg]df[high].astype(float)*2df[collect_time]datetime.now().strftime(%Y-%m-%d %H:%M)print(df.to_dict(orientrecords))第三步多市场并行采集影刀支持流程并行——为每个市场创建独立子流程同时运行子流程名称目标网站采集品类采集北京新发地xinfadi.com.cn蔬菜、水果采集广州江南jiangnanmarket.com蔬菜、进口水果采集农业农村部agri.gov.cn全国批发价格指数每个子流程采集后写入同一个Excel的不同Sheet用【启动子流程】并发执行。第四步价格环比分析# 影刀Python节点对比昨日价格today[{name:大白菜,avg_price:2.0,date:2026-06-28},{name:黄瓜,avg_price:4.0,date:2026-06-28},]yesterday[{name:大白菜,avg_price:1.8,date:2026-06-27},{name:黄瓜,avg_price:4.5,date:2026-06-27},]# 转dict便于对比yd{item[name]:item[avg_price]foriteminyesterday}result[]foritemintoday:prevyd.get(item[name])ifprevandprev0:change_pctround((item[avg_price]-prev)/prev*100,1)flag↑涨ifchange_pct0else(↓跌ifchange_pct0else→平)item[昨价]prev item[环比]f{flag}{abs(change_pct)}%else:item[环比]新上市result.append(item)print(result)第五步设定定时任务在影刀中【创建计划任务】执行时间每天早上7:00、11:00、16:00正好赶上早市、午市、晚市报价通知方式【企微推送】/【钉钉推送】把价格变动超过5%的品种推送出去有什么坑坑1不同市场单位不一致TEMU店群如何管理运营新发地用斤有些南方市场用公斤还有按件“箱”筐报价的。一定要在Python节点统一换算为kg否则对比出来的价格毫无意义。坑2网站反爬越来越严新发地这类商业价值高的数据源反爬措施会逐步升级。如果某天突然采集不到数据了先检查IP是否被拉黑。建议加个【随机延时】指令2-5秒别一秒刷10次。坑3品种名称不统一北京叫马铃薯广州叫土豆系统里可能叫土豆马铃薯“。如果不做名称标准化环比分析时会漏掉大量数据。建议维护一张别名映射表”ALIAS_MAP{马铃薯:土豆,洋芋:土豆,西红柿:番茄,蕃茄:番茄,}坑4节假日数据缺失批发市场节假日可能不更新报价。如果连续两天没数据环比分析脚本会报错。加上空值判断取最近一次有数据的日期做对比。坑5网页改版导致元素失效批发市场价格页面偶尔会改版。建议每周五手动跑一次流程确认正常。如果发现失败大概率是页面结构变了需要重新获取XPath。总结农产品价格采集的关键不在技术而在数据归一化——名称统一、单位统一、时间对齐这三件事做好你的数据才有分析价值。