Apache Spark是目前最流行的大规模数据处理系统之一提供支持多种编程语言的API并且具有大量内置库和第三方库的支持Apache Spark是一个在集群上运行的统一计算引擎以及一组并行数据处理软件库Spark是目前最流行的开源大数据处理引擎是所有对大数据感兴趣的开发人员和数据科学家的标配工具Spark支持多种常用的编程语言PythonJavaScala和R提供支持SQL、流处理、机器学习等多种任务的软件库它既可以在笔记本计算机上运行也可以在数千台服务器组成的集群上运行。Spark管理和协调跨多台计算机的计算任务Spark用来执行计算任务的若干台机器由像Spark的集群管理器YARN或Mesos这样的集群管理器管理然后我们提交Spark应用程序给这些集群管理器它们将计算资源分配给应用程序以便完成我们的工作