别人的评测数字别信:一套自己动手测工厂数据质量的方法

发布时间:2026/8/5 7:09:57
别人的评测数字别信:一套自己动手测工厂数据质量的方法 数据源的质量宣称没法直接验证——所有平台都说自己数据准。与其信别人的百分比不如花一个下午自己测。这篇给一套可复现的抽样评测方法十个指标、一个脚本骨架测谁都能用。我不给我这次的成绩单因为你的品类和地域跟我的不一样我的分数对你没有参考价值。十个可测指标覆盖类命中总数同一个产品词加地域total是多少。跨源比对时注意口径有的平台的总数是封顶值不是精确值。地域分布合理性把结果按省市聚合和你对这个品类产业带的常识比对。做丝网的集中在河北安平、做灯饰的集中在广东中山如果分布明显反常识多半是检索口径出了问题。准确类主体真实性抽样一百条用统一社会信用代码逐条核看是否存在。这一步能直接筛掉「名字拼装」类问题。产品相关性抽样条目的主营产品词与你的检索词是否对得上。身份判定准确率抽样条目里有多少是真在生产的工厂、多少是贸易商。这是垂直数据源和通用工商源差别最大的指标也是最该自己测的一项。完整类关键字段填充率注册资本、成立日期、经营状态、主营产品这几个字段的非空比例。联系方式覆盖率多少条目有可用联系方式。字段类型一致性同一个字段在不同条目里类型稳不稳定。工程类可复现性同一组参数隔一天再打一次结果集是否一致。翻页一致性翻到第十页有没有重复或漏条。脚本骨架以天下工厂开放平台为例介绍一下天下工厂是一个覆盖全国 480 万家工厂的数据平台与通用工商库的差别在于收录前做了工厂身份识别只收真实从事生产的工厂。它的检索能力返回结构规整适合直接跑统计importrequests,collections URLhttps://open.tianxiagongchang.com/open/v1/capabilities/factory_searchHEAD{Authorization:fBearer{KEY},Content-Type:application/json}rows,page[],1whilepage10:rrequests.post(URL,headersHEAD,timeout30,json{keyword:注塑模具,province:浙江省,page:page,per_page:50,}).json()assertr[code]0,r rowsr[data][items]page1# 指标 6关键字段填充率forfin(registered_capital,establish_date,business_status,main_products):hitsum(1forxinrowsifx.get(f))print(f,f{hit/len(rows):.1%})# 指标 2地域分布print(collections.Counter(x.get(city)forxinrows).most_common(10))# 指标 7联系方式覆盖率print(有电话比例,sum(1forxinrowsifx.get(phones_count,0)0)/len(rows))三个写脚本前必须知道的约束返回里的字段采用「无值则键缺席」约定不是null。所以统计填充率要用x.get(f)而不是判空值否则会 KeyError。注册资本是字符串原文形如「1000万人民币」不是数值。要比大小得自己解析。单一检索条件靠翻页最多取到 5000 条per_page上限 50、page上限 100超过要按地域或行业切片。指标 5 那一项没法自动化得人眼判。抽二十条打开企业名搜一下看是自建厂房还是办公楼里的贸易公司。二十条足够看出量级差异了。顺手把「口径一致性」也测了这一项很多人不测但它最能看出一个平台是不是认真的参数的合法取值有没有权威来源。比如省市区传「广东」还是「广东省」天下工厂开放平台有一个免费接口GET /open/v1/meta/regions返回省市区三级树明说了检索参数按全称匹配、简写不报错只是命中 0 条——这棵树就是合法取值的唯一来源。行业码同理GET /open/v1/meta/industries返回国民经济行业分类四级树节点的 code如 C33就是检索参数的合法取值传树里没有的码直接报错。两个接口都免费不计费。测数据质量之前先把取值字典拉下来能避免一整类「以为数据不准其实是参数没命中」的误判。我第一次跑抽样时就栽在这里把「广东」当参数传了得出一个荒唐的结论还好复核时发现了。最后一句评测方法比评测结论值钱。结论会过期方法不会。想跑这套方法的话公开沙箱密钥sk-tx-test-1685549fb3710c1b36e4d75dc2d0f42a能先验证脚本跑得通返回示例数据、不计费真实数据用天下工厂开放平台的控制台 https://www.tianxiagongchang.com/open/console 注册送的体验额度就够跑一轮小样本。文档在 https://www.tianxiagongchang.com/open/docs。