5分钟跑完数据质量检测用Evidently揪出缺失值、重复行和异常值【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently一行空值就能让特征列训练直接报错一批重复样本会悄悄把评估分数拉低。这类脏数据混进表格后肉眼几乎发现不了。Evidently 是一款开源的 ML 与 LLM 系统评估、监控工具数据质量检测是它的基本盘缺失值、重复、异常值一份报告全部摆到台面上。5分钟生成第一份数据质量报告先克隆仓库装依赖git clone https://gitcode.com/GitHub_Trending/ev/evidently cd evidently pip install -r requirements.min.txt装完后最短路径是直接用内置的DataSummaryPreset预设它一次覆盖行数、列数、缺失值和重复行列计数跑一遍就有数据集的全貌from evidently import Report, Dataset, DataDefinition from evidently.presets import DataSummaryPreset report Report([DataSummaryPreset()]) snapshot report.run(Dataset.from_pandas(df, data_definitionDataDefinition()), None) snapshot.save_html(quality_report.html)run()的第二个参数是参照数据集。传上历史基线报告会并排对比当前数据和基线很多变坏了的结论只有这样才看得出来。缺失值检测脏数据到底藏在哪些列这里分两层粒度。数据集层面用DatasetMissingValueCount先统计整张表的缺失总数回答有没有问题列层面用MissingValueCount逐列定位回答问题在哪个列。读结果时别只盯绝对数量要看占比。一列缺 3% 和一列缺 30% 性质完全不同前者可能是偶发丢数后者多半是上游数据源断了。相关实现在src/evidently/metrics/column_statistics.py。重复行怎么定位DuplicatedRowCount 与 DuplicatedColumnsCountDuplicatedRowCount统计完全相同的行。重复样本在训练时放大局部数据的权重还会让评估指标虚高——模型看着不错上线就崩的常见原因之一就是它。DuplicatedColumnsCount则抓完全相同的列两列内容一模一样就是冗余特征不清理会让特征重要性被稀释。两个指标自带默认断言应为 0开启测试后超标项会直接在报告里标红不用你翻表格核对。实现位于src/evidently/metrics/dataset_statistics.py。异常值筛查用统计量找出不同步的数据点异常值就是和绝大多数样本明显不同步的数据点。Evidently 不只画图让你肉眼找还给了一组可以直接当判断用的统计指标MinValue/MaxValue列的最小、最大值如果偏离正常量级一个数量级多半是录入错误MeanValueStdValue均值加标准差刻画分布的集中程度标准差相对均值越大越可能有异常点在拉高波动OutRangeValueCount直接数出落在你设定区间之外的值的个数适合业务规则明确的场景比如年龄必须在 0 到 120 之间。实操顺序建议先看最大最小值定位可疑点再用标准差确认波动程度最后用区间计数锁定异常规模。进阶自定义规则接入 Grafana 监控内置指标覆盖通用场景如果你有业务专属规则比如某渠道订单必须带券号可以参考现有指标类的写法扩展自己的检测逻辑接进同一个报告里跑。从查一次走到持续盯Evidently 提供了现成的 Grafana 仪表板示例定时计算指标、写入存储仪表板负责可视化数据质量监控就能进日常巡检流程。上手前该知道的三件事⚠️ 参照数据集别省。大量指标的意义在于当前 vs 基线只传一张表结论就只剩绝对数值参考价值打折扣。异常值阈值是业务判断。什么算异常统计方法只能提示最终由业务规则定。统计指标和OutRangeValueCount配合用比单靠任何一种都稳。别把它当成全部校验。Evidently 解决的是数据层面的质量判断字段约束、权限、链路追踪这类检查各有分工。手头有一张不敢放心的数据先花 5 分钟跑一份quality_report.html再决定修什么。【免费下载链接】evidentlyEvidently is ​​an open-source ML and LLM observability framework. Evaluate, test, and monitor any AI-powered system or data pipeline. From tabular data to Gen AI. 100 metrics.项目地址: https://gitcode.com/GitHub_Trending/ev/evidently创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考