Google的“三驾马车”奠定了大数据技术基础其开源实现对应HDFS、Hadoop MapReduce和HBase分别解决海量数据存储、计算与在线访问问题。HDFS分布式文件存储HDFS由NameNode和DataNode构成。NameNode管理文件元数据路径、数据块位置等DataNode负责存储实际数据块。文件被切分为若干Block每个Block默认复制三份存储在不同节点甚至机架上以保证磁盘、服务器或交换机故障时的数据高可用。客户端可并行访问不同数据块实现高吞吐读写。Hadoop MapReduce分布式计算框架MapReduce兼具编程模型与计算框架特性。开发者实现map和reduce函数map处理输入数据分片输出键值对框架自动将相同Key的中间结果归并shuffle交由reduce求和等操作完成统计。运行过程中JobTracker全局调度任务TaskTracker启动并监控各节点上的map/reduce进程通常与DataNode同机部署实现数据本地计算。HBase面向实时访问的分布式数据库HBase基于HDFS构建以HRegion为单位管理数据每个HRegion负责一段Key区间。应用程序通过ZooKeeper获取主HMaster地址再查询目标Key所在的HRegionServer然后直接与该HRegion通信读写。当数据量超阈值HRegion自动分裂并在HMaster协调下迁移至负载较低的节点实现线性扩展。HMaster可多实例部署通过ZooKeeper选主以保证高可用。HRegion数据最终以HFile格式存储于HDFS保证可靠性与分布式访问能力。这三者各司其职又紧密配合HDFS提供底层可靠存储MapReduce进行批量离线计算HBase支撑在线实时读写共同构成大数据生态的核心。