ORC Column Statistics 深度实战：驱动查询计划优化的元数据引擎用户问题原文：“如何利用 ORC 的 Column Statistics 进行查询计划优化？”2025年某大型电商平台的大促期间，一个关键的“实时用户转化分析”查询（WHERE event_time BETWEEN '2026-04-01 00:00:00' AND '2026-04-01 01:00:00' AND user_type = 'premium'）执行时间从预期的 3 秒飙升至 45 秒。经深入排查，根本原因在于ORC 文件缺少有效的列统计信息，导致 Spark Catalyst 无法进行分区裁剪和 Stripe 跳过，全表扫描了 12 小时的数据。这并非孤例。我曾处理过数百起因统计信息缺失或不准确引发的性能事故，涉及金融交易流水归档、IoT 设备状态监控、风控规则特征计算等场景。ORC 的 Column Statistics 是连接存储层与计算层的桥梁，直接影响查询优化器的决策质量。本文将深入 Apache ORC 2.3.0 源码与生产实践，系统性解析 Column Statistics 的工作机制，并提供可落地的写入配置、查询优化与监控验证方案。一、Column Statistics 核心机制：从文件结构到查询优化