简介面向毕业设计场景的HadoopHive离线数据仓库与可视化Web项目资料包适合大数据或计算机相关专业学生参考涵盖数据清洗、数据模型构建、Hive数仓搭建以及DjangoECharts前端展示的完整链路。压缩包共117个文件大小12.31MB主要包括Python后端脚本、SQL建模与查询语句、HTML/JS/CSS前端页面、数据样本及日志文件等可支撑从环境准备到指标看板呈现的实践学习。目前已有488人学习下载。资料中附带了数据仓库分层设计、业务指标分析思路以及可视化图表配置等关键内容目录结构清晰便于按模块查阅。对于需要完成类似毕业设计或想快速上手离线数仓项目的读者具有直接借鉴和复现价值。1. 毕业设计的数仓可视化链路从 HadoopHive 到 DjangoECharts 的闭环如果只把 HadoopHive 当成一个大数据存储把 DjangoECharts 当成画图工具那这套毕业设计最后会变成一个经不起追问的 demo图表都能显示但来源表说不清指标口径答不上来数据量一涨就卡死。这套方案的真正价值在于链路本身——从数据文件落到 HDFS到 Hive 分层建模产出指标再到 Django 提供接口、ECharts 消费渲染是一条可以完整答辩的工程闭环。下面这套做法是我在实际项目中常用的落地路径先定指标和分层再搭环境、建表、写 ETL最后用 Django 查询 ADS 层结果并以统一 JSON 结构交给 ECharts。适合正在做相关课设、以及第一次接触数仓链路但不想一上来就上 Flink 或 Spark 的开发者拿到的是可复现、可扩展的最小闭环。2. Hadoop 与 Hive 的数仓底座选型、伪分布式搭建与分层设计2.1 为什么是 HiveHDFS 只解决存储不解决分析HDFS 能存文件但它本身不提供 SQL 语义更没有表结构、分区、聚合这类数仓概念。Hive 的核心作用是把类 SQL 语句翻译成 MapReduce或 Tez、Spark作业让建表、清洗、聚合这些操作以声明式的方式完成。毕业设计的数据量通常只有几 GB 甚至几百 MB直接写 MapReduce 不现实也没有必要Hive 是最能体现数据仓库构建过程又不至于把精力耗在底层计算引擎上的选择。选择 Hive 还有一个实际理由它的元数据默认存放在 Derby 里但实战项目中几乎都会切换到 MySQL因为 Derby 不支持并发访问。你可以把 MySQL 理解为 Hive 的表结构字典Hive 服务启动时通过 JDBC 读取这个字典来感知有哪些库、哪些表、哪些分区。这个机制在答辩时非常容易讲清楚也是面试官最常问的切入点。2.2 伪分布式环境下的 Hadoop Hive 最小可用配置课程设计和毕业设计的数据量级下我不建议搭三节点集群伪分布式完全够用而且能在单机上完整演示 NameNode、DataNode、ResourceManager 的角色分工。搭建时最核心的是四个配置文件的参数对齐很多同学 Hadoop 起不来问题都出在配置项写错位置或者端口不一致。配置文件关键参数推荐值作用core-site.xmlfs.defaultFShdfs://localhost:9000指定 NameNode 的 RPC 地址hdfs-site.xmldfs.replication1伪分布式只有 1 个 DataNode副本数必须为 1yarn-site.xmlyarn.resourcemanager.hostnamelocalhost指定 ResourceManager 所在节点mapred-site.xmlmapreduce.framework.nameyarn让 MapReduce 作业跑在 YARN 上Hive 侧的配置在 hive-site.xml 里重点是把元数据库指向 MySQL。以常见配置为例property namejavax.jdo.option.ConnectionURL/name valuejdbc:mysql://localhost:3306/hive_metastore?createDatabaseIfNotExisttrue/value /property property namejavax.jdo.option.ConnectionDriverName/name valuecom.mysql.cj.jdbc.Driver/value /property property namejavax.jdo.option.ConnectionUserName/name valuehive/value /property property namejavax.jdo.option.ConnectionPassword/name valueyour_password/value /property这段配置指定了 Hive 元数据库的连接方式其中 createDatabaseIfNotExisttrue 会在 MySQL 中自动创建 hive_metastore 库省去手动建库的步骤。配置完成后按顺序启动服务hdfs namenode -format # 首次启动必须格式化 start-dfs.sh # 启动 NameNode 与 DataNode start-yarn.sh # 启动 ResourceManager 与 NodeManager jps # 检查进程是否都在 hive # 进入 Hive CLIjps是排查环境问题的第一工具正常情况下应看到 NameNode、DataNode、ResourceManager、NodeManager 四个进程。如果缺进程先看对应日志目录下的 .log 文件不要盲目重新格式化格式化会清空已有元数据。2.3 数仓分层设计把要交的指标先定下来很多毕设的做法是拿到数据直接建一张大宽表然后后端 select 出来画图。这在演示层面没问题但架构上会被判为没有数仓设计。数据仓库分层的核心目的是让每一层职责单一、口径统一、复用性高。我惯用的分层是 ODS、DWD、DWS、ADS 四层对应关系如下分层英文职责本项目中对应的表ODSOperational Data Store原始数据落地不修改、不清洗ods_order_infoDWDData Warehouse Detail清洗、去重、维度退化dwd_order_infoDWSData Warehouse Summary按主题做轻度汇总dws_province_order、dws_day_orderADSApplication Data Store面向应用的指标结果ads_order_trend、ads_province_stats设计顺序上要从 ADS 层倒推。先确定前端要展示哪些图表再去定义 ADS 层需要哪些字段。比如页面预期展示每日订单金额趋势“各省份订单量分布”“商品分类占比”这三个图那么 ADS 层就至少需要趋势表和省份统计表再顺着这个需求去设计 DWD 层的清洗规则和 DWS 层的汇总粒度。表名和字段名建议全小写下划线风格Hive 对大小写不敏感但 Django ORM 映射时全小写更省事。2.4 分区与分桶的区别以及这次该用哪个Hive 里 partition by 和 distribute by 是两回事很多文章混在一起讲导致实际操作时不知道该用哪个。partition by 是 DDL 层面的概念用于声明分区列物理上表现为 HDFS 目录层级而 distribute by 是写入数据时控制 reducer 如何分发数据目的是让相同 key 的数据落到同一个文件。两者没有替代关系。对比项分区PARTITIONED BY分桶CLUSTERED BY物理形态目录文件主要用途按日期、地域裁剪扫描范围抽样、join 优化、控制文件大小写入方式静态分区或动态分区依赖 distribute by 的 key 分发适用场景数据有明确的时间或类别维度数据量大且 join 频繁毕业设计的数据按时按天累积最合理的选择是只做日期分区不做分桶。分桶会引入文件数量控制的问题数据量小时反而降低查询灵活性。分区列在 where 中要放在最前面这是 Hive 分区裁剪生效的前提。3. 用 Hive SQL 把 ODS 到 ADS 四层建立起来建表、ETL 与指标计算3.1 ODS 层外部表 分区尽可能少做改动ODS 层的表最好设计为外部表并指定独立的 HDFS 路径。外部表的特征是删表不删数据即使建模失误把表 drop 掉原始数据文件还在可以随时重建。这个特性在调试阶段能避免很多灾难。以下是一张订单明细 ODS 表的建表语句CREATE EXTERNAL TABLE ods_order_info ( order_id BIGINT, user_id BIGINT, province STRING, category STRING, amount DECIMAL(10,2), status STRING ) PARTITIONED BY (dt STRING) ROW FORMAT DELIMITED FIELDS TERMINATED BY \t STORED AS TEXTFILE LOCATION /data/ods/order_info;这里有几个关键参数EXTERNAL 声明外部表PARTITIONED BY (dt STRING) 指定按日期字符串分区ROW FORMAT DELIMITED FIELDS TERMINATED BY \t 表示源文件字段间用制表符分隔STORED AS TEXTFILE 表示文件是纯文本格式LOCATION 指定数据文件在 HDFS 上的路径这个目录由你控制与 Hive 默认的 warehouse 路径无关。ODS 层不用 ORC是因为这一层要保留原始可读性也方便排查数据源问题。数据文件上传可以使用hdfs dfs -mkdir -p /data/ods/order_info/dt2024-06-01 hdfs dfs -put order_20240601.txt /data/ods/order_info/dt2024-06-01/HDFS 目录名中的 dt2024-06-01 是分区目录的固定格式必须与建表语句中的分区列名一致。上传完成后执行 MSCK REPAIR TABLE ods_order_info; 让 Hive 自动识别新增分区或者用 ALTER TABLE ods_order_info ADD PARTITION (dt2024-06-01); 手动登记。3.2 DWD 与 DWS清洗、去重、动态分区一次 INSERT 完成DWD 层的任务是从 ODS 读取数据完成空值处理、去重、非法数据过滤然后按日期分区写入。常见做法是一条 INSERT OVERWRITE 语句配合动态分区完成。动态分区的好处是不用手动指定每一个日期分区Hive 根据 SELECT 出来的字段值自动创建目录。先打开两个开关SET hive.exec.dynamic.partitiontrue; SET hive.exec.dynamic.partition.modenonstrict;nonstrict 模式允许所有分区列都是动态的这在按 dt 全量回刷历史数据时是必要的。然后执行核心 ETLINSERT OVERWRITE TABLE dwd_order_info PARTITION (dt) SELECT order_id, user_id, province, category, CASE WHEN amount IS NULL OR amount 0 THEN 0 ELSE amount END AS amount, status, dt FROM ods_order_info WHERE dt ${hiveconf:etl_date} AND order_id IS NOT NULL AND user_id IS NOT NULL DISTRIBUTE BY dt;这条语句的要点有四个。第一INSERT OVERWRITE 会覆盖目标表对应分区的数据适合回刷场景但要注意它会先清空已有分区内容不能用于增量追加。第二CASE WHEN 把空值和负数金额统一修正为 0这就是在 DWD 层完成指标口径清洗。第三WHERE 条件中通过 ${hiveconf:etl_date} 引用外部传入的日期参数这样同样的脚本可以用不同日期反复执行。第四DISTRIBUTE BY dt 保证相同日期的数据进入同一个 reducer配合动态分区写入时能减少小文件数量。执行时通过 hive 命令行传入日期参数hive -hiveconf etl_date2024-06-01 -f etl_dwd.sql如果 Hive 报 insert cannot recognize input near 这类语法错误绝大多数情况不是关键字拼写问题而是 SELECT 字段列表与 INSERT 目标表的列顺序不一致、子查询缺少别名、或者字段列表末尾多了一个逗号。先把 SQL 拆成 SELECT 单独执行确认输出正常后再拼回 INSERT 语句。3.3 DWS 层按主题轻度汇总ADS 层用 ORC 存结果DWS 层做轻度汇总上图表的字段在这一层就应当已经具备雏形。比如按省份和日期汇总订单量与金额INSERT OVERWRITE TABLE dws_province_order PARTITION (dt) SELECT province, COUNT(DISTINCT order_id) AS order_cnt, SUM(amount) AS total_amount FROM dwd_order_info WHERE dt ${hiveconf:etl_date} GROUP BY province;注意这里使用了 COUNT(DISTINCT order_id) 而不是 COUNT()因为同一个订单可能在 DWD 层被拆成多行明细直接 COUNT() 会重复计算。这是一个非常容易被忽略的口径问题。dws_province_order 的粒度是省份 日期它已经具备 DWS 层的轻度汇总特征。ADS 层的表直接面向 Django 查询字段要少、粒度要明确、类型要稳定。建议使用 ORC 列式存储它支持谓词下推和列裁剪虽然数据量不大时效果不明显但能体现对存储格式的思考。以省份统计为例CREATE TABLE ads_province_stats ( province STRING, order_cnt BIGINT, total_amount DECIMAL(14,2) ) STORED AS ORC; INSERT OVERWRITE TABLE ads_province_stats SELECT province, SUM(order_cnt), SUM(total_amount) FROM dws_province_order WHERE dt ${hiveconf:etl_date} GROUP BY province;ADS 表不再保留 dt 字段而是把选定日期的数据汇总成最终快照因为 ECharts 地图组件只需要当前的最新结果。如果答辩时被问到历史趋势怎么做可以解释为趋势图对应另一张带日期的 ADS 表省份快照和趋势表是 ADS 层的两种不同模型。3.4 Hive 空值清洗与控制 NULL 的显示两个高频问题Hive 中 NULL 和空字符串是两种不同的值这在可视化阶段会造成数据缺失的假象。DWD 层清洗时要把无意义的空字符串转换为 NULL使用以下方式SELECT IF(province , NULL, province) AS province FROM dwd_order_info;还有一种情况是查询结果中 NULL 显示为 NULL 字符串会被 ECharts 当作真实数据渲染。可以使用 Hive 的 NULL 定义函数来处理SELECT COALESCE(province, 未知) AS province FROM dwd_order_info;COALESCE 返回第一个非 NULL 值这比 CASE WHEN 更简洁。在 DWD 层把空值统一成 COALESCE 可识别的形态ADS 层就不需要再做一次兜底。另一个常见错误是使用 NULL 判断空值这在 SQL 中永远不成立必须用 IS NULL。4. Django 提供指标接口ECharts 完成可视化呈现4.1 Django 项目与 app 划分一个项目管接口一个 app 管指标后端部分我习惯用 Django 做纯接口层不渲染 HTML 页面前端可视化交给独立的 ECharts 页面这样前后端职责清晰答辩时也能说明白前后端分离的设计。先创建项目和 appdjango-admin startproject retail_dw cd retail_dw python manage.py startapp metrics python manage.py migrate python manage.py runserver 0.0.0.0:8000startproject 创建项目容器startapp 创建业务模块。这里把 app 命名为 metrics 而不是 api因为它的职责是提供指标数据。创建后在 retail_dw/settings.py 的 INSTALLED_APPS 中追加 metrics再在 urls.py 中注册路由。runserver 的 0.0.0.0:8000 表示监听所有网卡方便在虚拟机的浏览器或宿主机上访问。4.2 用 Django ORM 只读映射 ADS 表把响应组织成 ECharts 需要的格式Django 的 ORM 默认会管理表结构但 ADS 层的表由 Hive 创建Django 不应该拥有这些表的写权限否则 makemigrations 可能产生破坏性迁移。正确做法是在模型中设置 managed False让 Django 只读映射from django.db import models class AdsProvinceStats(models.Model): province models.CharField(max_length50, primary_keyTrue) order_cnt models.BigIntegerField() total_amount models.DecimalField(max_digits14, decimal_places2) class Meta: managed False db_table ads_province_stats字段类型必须与 Hive 表对齐。Hive 的 STRING 类型映射为 CharFieldBIGINT 映射为 BigIntegerFieldDECIMAL 映射为 DecimalField并注意 max_digits 和 decimal_places 要与建表语句一致。视图函数里把查询结果组织成 ECharts 可直接消费的结构from django.http import JsonResponse from .models import AdsProvinceStats def province_api(request): rows AdsProvinceStats.objects.all().values(province, order_cnt, total_amount) data [ { name: r[province], value: [r[province], float(r[total_amount])] } for r in rows ] return JsonResponse({data: data}, json_dumps_params{ensure_ascii: False})使用 .values() 返回字典列表而不是模型对象便于直接构造 JSON。total_amount 是 Decimal 类型Django 的 JsonResponse 无法直接序列化 Decimal所以一定要用 float() 转换。ensure_asciiFalse 保证省份中文正常显示。data 数组的 value 字段是 [省份, 金额] 的组合这个结构对应 ECharts 地图的 [name, value] 数据格式前端拿到后可以直接交给 series。4.3 ECharts 的图表选型与数据对接折线、饼图、中国地图的 option 模板ECharts 是纯前端的图表库通过 script 标签引入即可不需要 npm 打包。以省份分布地图为例核心配置如下fetch(/api/province/) .then(res res.json()) .then(res { const chart echarts.init(document.getElementById(map)); chart.setOption({ tooltip: { trigger: item }, visualMap: { min: 0, max: 5000, splitNumber: 10, inRange: { color: [#e0f3f8, #08519c] } }, series: [{ type: map, map: china, roam: true, data: res.data }] }); });fetch 从 Django 接口拿数据res.data 直接是地图组件需要的数组。visualMap 的 splitNumber 控制数值分段数默认 5 段设置为 10 就是把配色分成 10 个区间展示效果更细腻。map: china 需要引入中国地图数据文件毕业设计一般把全国的 GeoJSON 放在静态目录下通过 script 标签提前加载。不同指标对应的图表选型也值得在答辩时说明不要所有数据都用柱状图业务指标推荐图表数据接口结构每日订单金额趋势折线图{ dates: [], amounts: [] }分类销售占比饼图[{ name, value }]省份订单量分布中国地图[{ name, value: [name, value] }]商品销量 Top 10柱状图{ names: [], counts: [] }4.4 前后端分离时的跨域与静态资源处理Django 默认只允许同源请求前端页面如果跑在 8080 端口而接口在 8000 端口浏览器会拦截响应。最简单的方案是安装 django-cors-headerspip install django-cors-headers在 settings.py 中追加配置INSTALLED_APPS [ corsheaders, ... ] MIDDLEWARE [ corsheaders.middleware.CorsMiddleware, ... ] CORS_ALLOWED_ORIGINS [ http://localhost:8080, ]CorsMiddleware 要放在其他中间件的前面确保响应尽早带上 CORS 头。毕业设计阶段也可以不走前后端分离把 ECharts 页面放进 Django 的 templates 目录由 Django 直接渲染 HTML这时不存在跨域问题只省掉 CORS 配置。二者各有取舍分离式更贴近企业项目结构。5. 指标口径、小文件与查询提速可视化项目的最后 500 米5.1 指标口径统一在 Hive 层不在 Django 里二次计算Django 中只做查询和格式化不做 SUM、COUNT 这类聚合。所有金额、订单数的口径都在 Hive 的 DWS/ADS 层固定下来Django 只是把结果改造成 JSON。这样做的好处是如果口径需要调整只改 Hive SQL 然后回刷 ADS 表前端和接口代码完全不用动如果 DWD 层的过滤规则有变化也只需要重新执行对应分区的 ETL。答辩时反复确认这一点整个数据流的逻辑就能自洽。5.2 三个值得设置的 Hive 调优参数fetch task、小文件合并与并行执行数据量不大时Hive 调优不需要复杂的资源参数下面三个参数能解决大部分实际体验问题SET hive.fetch.task.conversionmore; SET hive.merge.mapfilestrue; SET hive.merge.size.per.task134217728; SET hive.exec.paralleltrue;hive.fetch.task.conversionmore 可以让简单的 SELECT 不触发 MapReduce直接在本地读取文件最常见的效果是查一张小表秒回。hive.merge.mapfilestrue 配合 hive.merge.size.per.task134217728能把 Map 阶段产生的大量小文件合并成接近 128MB 的大文件减少后续查询的 NameNode 压力和数据倾斜。hive.exec.paralleltrue 允许没有依赖关系的 Hive 作业并行执行多张 ADS 表回刷时可以同时跑节省等待时间。这三个参数放到 ETL 脚本开头注意它们在 hive-site.xml 中也能配置但脚本内 SET 只对当前会话生效更适合做实验对比。5.3 用 EXPLAIN 和时间命令验证整条链路的瓶颈接口慢时不要猜先定位瓶颈在哪一环。第一步在 Hive 中跑 EXPLAIN SELECT ...查看执行计划是否走了分区裁剪WHERE 条件里如果没有分区列Hive 会扫描全表这是最常见的性能问题。第二步用 time 命令测量接口耗时time curl http://127.0.0.1:8000/api/province/如果接口响应快但页面渲染慢打开浏览器开发者工具的 Network 面板看地图 GeoJSON 文件的大小中国地图文件通常有几百 KB静态资源服务器未开启压缩时传输耗时会很明显。如果接口本身慢再拆开看是 Django 查询慢还是数据库连接慢通过 Django 的 connection.queries 打印实际执行的 SQL确认 ORM 没有做全表扫描。数据量不大的前提下这条链路中 90% 的慢请求都出在 Hive 侧的小文件过多以及 ECharts 侧的地图资源加载而不是 Django 本身的性能问题。本文还有配套的精品资源点击获取