一、实验背景在自媒体运营分析中原始数据的质量直接影响后续分析结果的可靠性。本次实验的数据来源于全班同学在B站、CSDN、微信、知乎、小红书等多平台发布的作品互动数据。然而原始数据存在以下问题平台冗余微信、知乎、小红书等平台的浏览数量几乎全为0缺乏核心浏览数据无法支撑有意义的分析。无效记录部分作品的浏览、点赞、收藏数量全部为0可能是采集失败或无实际互动对分析无贡献。字段缺失点赞、收藏、分享等字段中存在空值不处理会导致后续计算报错。此外后续可视化仪表盘需要同时满足两类数据需求全平台概况统计保留所有平台的汇总信息和重点平台深度分析仅B站和CSDN的有效数据。因此本实验采用分支处理策略在同一个ETL Pipeline中输出两张结构不同的数据表。实验目标使用助睿ETL完成数据清洗与预处理输出 summary_all_platforms 和 content_analysis 两张核心数据表为后续特征工程与可视化分析奠定基础。二、实验步骤步骤1创建目标表在助睿ETL中创建两张目标表字段类型说明crawl_dateDATE采集日期platformVARCHAR(20)平台名称content_countINT作品数量total_viewsINT总浏览数total_likesINT总点赞数total_favoritesINT总收藏数total_sharesINT总分享数total_coinsINT总投币数仅B站total_recommendINT总推荐数仅微信total_likes_zhihuINT总喜欢数仅知乎total_approvalsINT总赞同数仅知乎字段类型说明dateDATE采集日期author_nameVARCHAR(100)作者昵称titleVARCHAR(500)作品标题platformVARCHAR(20)B站 / CSDNlikesINT点赞数favoritesINT收藏数sharesINT分享数coinsINT投币数仅B站viewsINT播放量/阅读量urlVARCHAR(500)作品链接total_interactionINT互动总数后续实验填充has_bestTINYINT(1)是否含保姆级has_lowcodeTINYINT(1)是否含零代码has_practiceTINYINT(1)是否含实战has_tutorialTINYINT(1)是否含教程/指南has_pitTINYINT(1)是否含踩坑步骤2导入原始数据将自媒体作品数据明细.csv从助睿ETL公共空间复制到个人文件库。该数据集覆盖6月8日至6月15日期间同学们提交的作品互动数据。步骤3全平台聚合统计分支一拖入排序记录和分组组件按日期和平台分组排序其余数值字段全部求和输出 summary_all_platforms 表。此分支不做任何过滤保留所有平台数据。步骤4过滤无效记录分支二使用过滤记录组件通过 AND 与 OR 组合条件同时完成平台筛选和有效性判定步骤5填充缺失值使用填充缺失值组件对作者名称和作品标题字段中可能存在的空值统一填充为未知。步骤6字段选择使用字段选择组件剔除 source_file 等分析无关字段保留date, author_name, title, platform, likes, favorites, shares, coins, views, url。步骤7输出目标表将处理后的数据输出为 content_analysis 表作为实验7-2的输入数据。步骤8执行转换流点击运行执行完整ETL Pipeline。转换流由两个分支组成分支一经排序分组输出全平台概况表分支二经过滤填充字段选择输出内容分析表。三、实验结果summary_all_platforms 表包含所有平台按日期聚合后的汇总数据每条记录包含作品数、总浏览数、总点赞数及各类平台特色互动指标。用于仪表盘顶部全平台概况指标卡。content_analysis 表仅包含B站和CSDN中浏览数大于0的有效记录共10个核心字段。已剔除无效平台和无效记录缺失值已填充无关字段已清理。数据质量经过过滤后数据量减少了约40%剔除了微信、知乎等无效平台数据保留了真正产生用户互动的有效作品记录。四、核心组件说明组件名称功能配置要点CSV文件输入读取原始CSV数据源从公共空间复制文件后直接拖入排序记录按指定字段排序分支一中按 date platform 升序排序分组按分组字段聚合计算分组字段为 date 和 platform数值字段取 SUM过滤记录按条件筛选数据行平台筛选 有效性判定 AND/OR 组合填充缺失值对空值字段填充默认值对 author_name 和 title 填充未知字段选择选择保留或移除字段剔除 source_file保留10个核心字段表输出将结果写入目标表分别输出到两张目标表五、问题与解决问题1为什么需要分支处理全平台概况需要保留所有平台包括浏览数为0的记录而重点平台分析只需要B站和CSDN的有效数据。两者的数据范围不同无法用同一张表满足。解决方案在ETL中做分支分支一输出全平台聚合数据分支二输出清洗后的明细数据各司其职。问题2为什么不把各平台的特色指标合并B站的投币、微信的推荐、知乎的赞同/喜欢含义各不相同。如果合并为一个通用字段反而模糊了信息。解决方案为每个平台的特色指标保留独立列让数据含义清晰明确。问题3过滤时为什么使用 OR 而不是两次过滤通过 AND OR 的组合条件一个过滤记录组件即可同时完成平台筛选和有效性判定减少组件数量使Pipeline更简洁高效。六、实验总结本实验通过助睿ETL完成了自媒体运营数据的清洗与预处理工作主要收获如下掌握了数据清洗的完整流程发现问题、制定策略、分支处理、过滤筛选、字段规范、结果输出。理解了分支处理的必要性不同分析目标需要不同粒度和范围的数据一张表无法满足所有需求。熟悉了助睿ETL的核心组件排序记录、分组、过滤记录、填充缺失值、字段选择、表输出等。树立了宽表设计理念一次清洗、多次使用一张规范的数据表可以支撑后续多种分析需求。