数据的图表展示 —— 知识点总结一、数据的预处理1. 数据预处理的概念数据预处理是指在对数据进行正式的统计分析之前对原始数据进行审核、筛选、排序、分组等一系列加工整理的过程使其满足后续分析的要求。2. 数据审核数据审核是检查数据中是否有错误或不一致之处主要包括完整性审核检查数据是否存在遗漏调查项目是否填写齐全。准确性审核检查数据是否存在错误包括逻辑错误如年龄为负数和计算错误。一致性审核检查不同来源或不同变量之间的数据是否矛盾。及时性审核检查数据是否按时收集是否具有时效性。3. 数据筛选根据分析需要从原始数据集中剔除不符合要求的数据或挑选出符合特定条件的数据子集。剔除明显错误的异常值剔除缺失值过多的记录根据研究目标选取特定范围的数据4. 数据排序将数据按某一或某些变量的数值大小升序或降序排列便于发现数据的基本特征如最大值、最小值、是否存在异常值等。升序排列从小到大降序排列从大到小可按单个变量排序也可按多个变量依次排序5. 数据透视表利用交叉分组的方式从不同角度对数据进行汇总和分析是Excel等工具中常用的数据整理手段。二、品质数据的整理与展示品质数据定性数据/分类数据表现为类别或属性的数据不能进行数学运算如性别、职业、品牌偏好等。1. 频数与频率概念定义公式频数Frequency落在各类别中的数据个数fif_ifi​频率Relative Frequency各类别频数占总频数的比例pifinp_i \frac{f_i}{n}pi​nfi​​百分比Percentage频率乘以100%pi×100%p_i \times 100\%pi​×100%累积频数向下或向上累加的频数—累积频率向下或向上累加的频率—频数分布表将品质数据各类别及其频数、频率等统计量汇总成表格的形式。2. 品质数据的展示方法1条形图Bar Chart用等宽的长条表示各类别的频数或频率长条之间有间隔表示类别之间是独立的可以是纵向柱形图或横向水平条形图适用于展示各类别的数量对比2帕累托图Pareto Chart将各类别按频数从大到小排列的条形图同时绘制累积百分比折线便于识别关键的少数遵循二八法则3饼图Pie Chart用圆形中各扇形的面积角度表示各类别的频率或百分比所有扇形角度之和 360°适合展示各部分占总体的比例关系类别不宜过多一般不超过5~7个4环形图Donut Chart饼图的变体中间有空心可以同时展示多个样本或多个变量的构成比较3. 注意事项分类应遵循互斥性各类别不重叠和完备性所有数据均被覆盖设置其他类别来收集频数很小的类别各类别的排列应有逻辑性如按大小、时间、字母顺序等三、数值型数据的整理与展示数值型数据定量数据/计量数据可以用数字表示能进行数学运算的数据如身高、收入、温度等。1. 数据分组1单值分组将每一个不同的取值作为一个组适用于取值不多且为离散型的数据2组距分组将数据的取值范围划分为若干个区间组适用于取值较多或连续型的数据分组的关键步骤① 确定组数k组数不宜过多或过少一般建议5~15组可参考斯特吉斯Sturges公式k13.322lg⁡nk 1 3.322 \lg nk13.322lgn其中nnn为数据个数② 确定组距dd最大值−最小值组数Rkd \frac{\text{最大值} - \text{最小值}}{\text{组数}} \frac{R}{k}d组数最大值−最小值​kR​组距一般取整数或方便计算的数各组的组距可以相等等距分组也可以不等不等距分组③ 确定组限组下限每组的最小值组上限每组的最大值组距 组上限 − 组下限组中值 (组上限 组下限) / 2④ 遵循不重不漏原则相邻两组的组限不能重叠每个数据只能归入一个组常用上限不在内原则如 [10, 20)、[20, 30)即上限归入下一组⑤ 统计各组频数开口组第一组没有明确下限或最后一组没有明确上限如60以下或100以上2. 频率分布表在频数分布表的基础上增加频率、累积频数、累积频率等列完整呈现数据分布信息。3. 数值型数据的展示方法1直方图Histogram与条形图类似但用于连续型数据各长条紧密相连、无间隔因为数据是连续的横轴表示变量取值区间纵轴表示频数或频率注意区分直方图与条形图条形图直方图数据类型品质数据数值型数据长条间有间隔无间隔排列顺序可调按数值大小排列2茎叶图Stem-and-Leaf Display将每个数据值分为茎高位数字和叶低位数字保留了原始数据信息是数据中的直方图可以看出数据的分布形状、集中趋势和离散程度示例数据 23, 25, 27, 31, 34 可表示为2 | 3 5 7 3 | 1 43箱线图Box Plot/ 箱须图展示数据的五数概括最小值Min第一四分位数Q₁中位数Q₂第三四分位数Q₃最大值Max箱体从 Q₁ 到 Q₃中间线为中位数须线延伸至不超过1.5 倍四分位距IQR范围内的最远数据点超出须线的点为异常值离群点用途比较多个数据集的分布特征4折线图Line Chart将各组的组中值与对应的频数频率用线段连接常用于展示数据的趋势变化适合时间序列数据5散点图Scatter Plot展示两个数值变量之间的关系横轴为自变量纵轴为因变量可初步判断两个变量之间是否存在线性关系、曲线关系或无关系6气泡图Bubble Chart散点图的扩展增加了第三个变量用气泡大小表示同时展示三个变量的关系4. 数据分布的形状通过图表可判断数据分布的形态特征对称分布左右基本对称如正态分布右偏分布正偏尾部向右延伸均值 中位数 众数左偏分布负偏尾部向左延伸均值 中位数 众数单峰分布只有一个明显高峰双峰分布有两个高峰均匀分布各组频数基本相同四、合理使用图表1. 图表选择的基本原则数据类型分析目的推荐图表品质数据分类展示各类别频数或频率条形图、饼图品质数据展示构成比例饼图、环形图品质数据识别重要类别帕累托图数值型数据单变量展示分布形态直方图、茎叶图数值型数据展示集中与离散箱线图数值型数据时间展示趋势折线图数值型数据双变量展示关系散点图2. 制作图表的注意事项1总体要求图表应简洁、清晰、准确地传达数据信息避免过多装饰数据墨水比要高即图表中大部分空间应用于展示数据标题应明确反映图表内容2标题与标签必须有图表标题坐标轴需要有轴标题和刻度标注数据单位要明确标注3坐标轴纵轴的刻度一般应从0开始尤其是条形图如果不从0开始容易造成视觉误导坐标轴的比例尺应合理4颜色与图例使用颜色区分不同类别时颜色应有足够对比度考虑色盲友好的配色方案需要时添加图例说明5数据标签必要时在图表上直接标注数值避免标注过多导致图表杂乱3. 常见的图表误用误用类型说明三维效果三维图形会扭曲数据比例使比较失真截断坐标轴纵轴不从0开始夸大了差异面积误导用图形大小如图片表示数据时面积与数值不成比例过多分类饼图扇形过多导致难以辨识无关图表使用图表类型与数据特征不匹配双Y轴误导使用双Y轴时可能造成两个变量关系的误解遗漏数据选择性展示数据以支持特定观点4. 图表与统计软件常用统计软件/工具Excel基础图表、数据透视表、数据透视图SPSS统计分析与图形R语言ggplot2包Pythonmatplotlib、seabornTableau可视化仪表板五、本章核心公式汇总公式/概念表达式频率pifinp_i \frac{f_i}{n}pi​nfi​​且∑pi1\sum p_i 1∑pi​1百分比pi×100%p_i \times 100\%pi​×100%组中值组上限组下限2\frac{\text{组上限} \text{组下限}}{2}2组上限组下限​组距d最大值−最小值kd \frac{\text{最大值} - \text{最小值}}{k}dk最大值−最小值​Sturges公式k13.322lg⁡nk 1 3.322 \lg nk13.322lgn四分位距IQRQ3−Q1IQR Q_3 - Q_1IQRQ3​−Q1​异常值判定超出[Q1−1.5×IQR, Q31.5×IQR][Q_1 - 1.5 \times IQR, \; Q_3 1.5 \times IQR][Q1​−1.5×IQR,Q3​1.5×IQR]范围六、常见考点与易混淆点条形图 vs 直方图条形图用于品质数据有间隔直方图用于数值型数据无间隔。频数 vs 频率频数是绝对数频率是相对数比例频率之和 1。茎叶图的优势既保留了原始数据信息又展示了数据的分布形状。箱线图中的异常值超出 1.5 倍 IQR 范围的点。分组的上限不在内原则当某数据恰好等于某组上限时该数据归入下一组。饼图的适用条件展示各部分占总体的比例且类别不宜过多。偏态方向的判断右偏 右尾长 正偏左偏 左尾长 负偏。