十、数据可视化第1关可视化概述任务描述本关任务根据相关知识内容完成右边选择题。相关知识为了完成本关任务你需要掌握1.可视化概述。可视化概述数据可视化是指将大型数据集中的数据以图形图像形式表示并利用数据分析和开发工具发现其中未知信息的处理过程。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元素表示大量的数据集构成数据图像同时将数据的各个属性值以多维数据的形式表示可以从不同的维度观察数据从而对数据进行更深入的观察和分析。可视化的发展历程数据可视化历史上的另一个经典之作是 1857 年“提灯女神”南丁格尔设计的“鸡冠花图”(又称玫瑰图)它以图形的方式直观地呈现了英国在克里米亚战争中牺牲的战士数量和死亡原因有力地说明了改善军队医院的医疗条件对于减少战争伤亡的重要性。如下图所示“提灯女神”南丁格尔设计的“鸡冠花图”20 世纪 50 年代随着计算机的出现和计算机图形学的发展人们可以利用计算机技术在电脑屏幕上绘制出各种图形图表可视化技术开启了全新的发展阶段。最初可视化技术被大量应用于统计学领域用来绘制统计图表比如圆环图、柱状图和饼图、直方图、时间序列图、等高线图、散点图等后来又逐步应用于地理信息系统、数据挖掘分析、商务智能工具等有效促进了人类对不同类型数据的分析与理解。随着大数据时代的到来每时每刻都有海量数据在不断生成需要我们对数据进行及时、全面、快速、准确的分析呈现数据背后的价值这就更需要可视化技术协助我们更好地理解和分析数据可视化成为大数据分析最后的一环和对用户而言最重要的一环。可视化的重要作用在大数据时代可视化技术可以支持实现多种不同的目标1观测、跟踪数据如下图所示百度地图显示的北京市实时交通路况信息2分析数据如下图所示用户参与的可视化分析过程3辅助理解数据如下图所示微软“人立方”展示的人物关系图4增强数据吸引力如下图所示一个可视化的图表新闻实例编程要求根据相关知识完成右侧选择题第2关可视化图表及工具任务描述本关任务根据相关知识内容完成右边选择题。相关知识为了完成本关任务你需要掌握1.可视化图表2.可视化工具。可视化图表最常用的统计图表类型及其应用场景图表 维度 应用场景柱状图 二维 指定一个分析轴进行数据大小的比较只需比较其中一维折线图 二维 按照时间序列分析数据的变化趋势适用于较大的数据集饼图 二维 指定一个分析轴进行所占比例的比较只适用于反映部分与整体的关系散点图 二维或三维 有两个维度需要比较气泡图 三维或四维 其中只有两维能够精确辨识雷达图 四维以上 数据点不超过六个除了上述常见的图表以外数据可视化还可以使用其他图表具体如下1漏斗图漏斗图适用于业务流程比较规范、周期长、环节多的流程分析通过漏斗各环节业务数据的比较能够直观地发现和说明问题所在。2树图树图是一种流行的、利用包含关系表达层次化数据的可视化方法它能将事物或现象分解成树枝状因此又称“树型图”或“系统图”。树图就是把要实现的目的与需要采取的措施或手段系统地展开并绘制成图以明确问题的重点寻找最佳手段或措施。3热力图以特殊高亮的形式显示访客热衷的页面区域和访客所在的地理区域的图示它基于 GIS 坐标用于显示人或物品的相对密度。4关系图基于 3D 空间中的点线组合再加以颜色、粗细等维度的修饰适用于表征各节点之间的关系。5词云通过形成“关键词云层”或“关键词渲染”对网络文本中出现频率较高的“关键词”给予视觉上的突出。6桑基图也被称为“桑基能量分流图”或“桑基能量平衡图”它是一种特定类型的流程图图中延伸的分支的宽度对应数据流量的大小通常应用于能源、材料成分、金融等数据的可视化分析。7日历图以日历为基本维度的、对单元格加以修饰的图表。可视化工具入门级工具Excel 是微软公司的办公软件 Office 家族的系列软件之一可以进行各种数据的处理、统计分析和辅助决策操作已经广泛地应用于管理、统计、金融等领域。信息图表工具信息图表是信息、数据、知识等的视觉化表达它利用人脑对于图形信息相对于文字信息更容易理解的特点更高效、直观、清晰地传递信息在计算机科学、数学以及统计学领域有着广泛的应用。1、Google Chart API谷歌公司的制图服务接口 Google Chart API可以用来为统计数据并自动生成图片该工具使用非常简单不需要安装任何软件可以通过浏览器在线查看统计图表。2、EChartsECharts 是由百度公司前端数据可视化团队研发的图表库可以流畅地运行在 PC 和移动设备上兼容当前绝大部分浏览器IE8/9/10/11、Chrome、Firefox、Safari 等底层依赖轻量级的、Canvas 类库 ZRender可以提供直观、生动、可交互、可高度个性化定制的数据可视化图表。ECharts 提供了非常丰富的图表类型包括常规的折线图、柱状图、散点图、饼图、K 线图用于统计的盒形图用于地理数据可视化的地图、热力图、线图用于关系数据可视化的关系图、treemap用于多维数据可视化的平行坐标以及用于 BI 的漏斗图、仪表盘并且支持图与图之间的混搭能够满足用户绝大部分分析数据时的图表制作需求。3、D3D3 是最流行的可视化库之一是一个用于网页作图、生成互动图形的 JavaScript 函数库提供了一个 D3 对象所有方法都通过这个对象调用。D3 能够提供大量线性图和条形图之外的复杂图表样式例如 Voronoi 图、树形图、圆形集群和单词云等。如下图所示D3 提供的可视化图表4、TableauTableau 是桌面系统中最简单的商业智能工具软件更适合企业和部门进行日常数据报表和数据可视化分析工作。Tableau 实现了数据运算与美观的图表的完美结合用户只要将大量数据拖放到数字“画布”上转眼间就能创建好各种图表。5、大数据魔镜大数据魔镜是一款优秀的国产数据分析软件它丰富的数据公式和算法可以让用户真正理解探索分析数据用户只要通过一个直观的拖放界面就可创造交互式的图表和数据挖掘模型。地图工具地图工具在数据可视化中较为常见它在展现数据基于空间或地理分布上有很强的表现力可以直观地展现各分析指标的分布、区域等特征。当指标数据要表达的主题跟地域有关联时就可以选择以地图作为大背景从而帮助用户更加直观地了解整体的数据情况同时也可以根据地理位置快速地定位到某一地区来查看详细数据。下图所示就是以数据地图形式呈现的 2017 年河南各地区 GDP 数据。2017 年河南各地区 GDP 数据地图1、Google Fusion TablesGoogle Fusion Tables 让一般使用者也可以轻松制作出专业的统计地图。该工具可以让数据表呈现为图表、图形和地图从而帮助发现一些隐藏在数据背后的模式和趋势。2、Modest MapsModest Maps 是一个小型、可扩展、交互式的免费库提供了一套查看卫星地图的 API只有 10KB 大小是目前最小的可用地图库它也是一个开源项目有强大的社区支持是在网站中整合地图应用的理想选择。3、LeafletLeaflet 是一个小型化的地图框架通过小型化和轻量化来满足移动网页的需要。时间线工具时间线是表现数据在时间维度的演变的有效方式它通过互联网技术依据时间顺序把一方面或多方面的事件串联起来形成相对完整的记录体系再运用图文的形式呈现给用户。时间线可以运用于不同领域最大的作用就是把过去的事物系统化、完整化、精确化。自 2012 年 Facebook 在 F8 大会上发布了以时间线格式组织内容的功能后时间线工具在国内外社交网站中开始大面积流行。下图显示了我国户籍制度在 1994 年到 2014 年间随时间的演变情况。1、TimetoastTimetoast 是在线创作基于时间轴事件记载服务的网站提供个性化的时间线服务可以用不同的时间线来记录你某个方面的发展历程、心理路程、进度过程等等。Timetoast 基于 flash 平台可以在类似 flash 时间轴上任意加入事件定义每个事件的时间、名称、图像、描述最终在时间轴上显示事件在时间序列上的发展事件显示和切换十分流畅随着鼠标点击可显示相关事件操作简单。2、XtimelineXtimeline 是一个免费的绘制时间线的在线工具网站操作简便用户通过添加事件日志的形式构建时间表同时也可给日志配上相应的图表。不同于 Timetoast 的是Xtimeline 是一个社区类型的时间轴网站其中加入了组群功能和更多的社会化因素除了可以分享和评论时间轴外还可以建立组群讨论所制作的时间轴。高级分析工具1、RR 是属于 GNU 系统的一个自由、免费、源代码开放的软件它是一个用于统计计算和统计制图的优秀工具使用难度较高。R 的功能包括数据存储和处理系统、数组运算工具具有强大的向量、矩阵运算功能、完整连贯的统计分析工具、优秀的统计制图功能、简便而强大的编程语言可操纵数据的输入和输出实现分支、循环以及用户可自定义功能等通常用于大数据集的统计与分析。2、WekaWeka 是一款免费的、基于 Java 环境的、开源的机器学习以及数据挖掘软件不但可以进行数据分析还可以生成一些简单图表。3、GephiGephi 是一款比较特殊也很复杂的软件主要用于社交图谱数据可视化分析可以生成非常酷炫的可视化图形。4、PythonPython 是一种面向对象的解释型计算机程序设计语言由荷兰人吉多•范罗苏姆Guido van Rossum于 1989 年发明。Python 是纯粹的自由软件源代码和解释器 CPython 遵循 GPLGNU General Public License协议。Python 具有丰富和强大的库。它常被称为“胶水语言”能够把用其他语言制作的各种模块尤其是 C/C很轻松地连接在一起。Python 也是一种很好的可视化工具可以开发出各种可视化效果图Python 可视化库可以大致分为基于 matplotlib 的可视化库、基于 JavaScript 的可视化库、基于上述两者或其他组合功能的库。可视化经典案例1、全球黑客活动安全供应商Norse打造了一张能够反映全球范围内黑客攻击频率的地图http://map.ipviking.com它利用 Norse 的“蜜罐”攻击陷阱显示出所有实时渗透攻击活动。如下图所示地图中的每一条线代表的都是一次攻击活动借此可以了解每一天、每一分钟甚至每一秒世界上发生了多少次恶意渗透。一张能够反映全球范围内黑客攻击频率的地图2、互联网地图为了探究互联网这个庞大的宇宙俄罗斯工程师 Ruslan Enikeev 根据 2011 年的数据将全球 196 个国家的 35 万个网站数据整合起来并根据 200 多万个网站链接将这些“星球”通过关系链联系起来每一个“星球”的大小根据其网站流量来决定而“星球”之间的距离远近则根据链接出现的频率、强度和用户跳转时创建的链接来确定由此绘制得到了“互联网地图”http://internet-map.net如下图所示俄罗斯工程师绘制的“互联网地图”3、编程语言之间的影响力关系图Ramio Gómez 利用来自 Freebase 上的编程语言维护表里的数据绘制了编程语言之间的影响力关系图如下图所示图中的每个节点代表一种编程语言之间的连线代表该编程语言对其他语言有影响有影响力的语言会连线多个语言相应的节点也会越大。编程语言之间的影响力关系图”4、世界国家健康与财富之间的关系如下图所示“世界国家健康与财富之间的关系”利用可视化技术把世界上 200 个国家从 1810 年到 2010 年历时 200 年其各国国民的健康、财富变化数据收集了1千多万个数据制作成三维动画进行了直观展示http://www.moojnn.com/Index/whn。世界国家健康与财富之间的关系图”5、可视化互联网地图 APP3D 可视化是描绘和理解数据的一种手段是数据的一种表征形式并非模拟技术。3D 可视化以一种独特的立体视角为用户呈现数据可以帮助用户发现一些在2D模式下无法察觉的内容。Peer 1 开发了一个称为“互联网地图”的 APP。如下图所示这是一个建立在小盒子形式上的 3D 地图。Peer 1 开发的“互联网地图”编程要求根据相关知识完成右侧选择题有任何问题都可以随时关注私信