认识达内从这里开始

认真做教育专心促就业

【佛山IT培训】　　Spark：超越Hadoop MapReduce

发布：佛山IT培训机构
来源：佛山IT培训机构
时间：2017-04-20 15:55

佛山IT培训

大数据因为数据量大单机无法处理。Hadoop 和 Spark 都是把数据分布在集群节点上的分布式框架中。Spark 把分布式数据集存放在内存中，所以比 Hadoop 把数据存放在磁盘中处理速度要快很多。

除了将要计算的数据保存的位置不同(内存和磁盘)，Spark 的 API 比 Hadoop的 Map/Reduce API 更容易使用。Spark 使用简洁且表达力较好的 Scala 作为原生编程语言，写 Hadoop Map/Reduce 的 Java 代码行数与写 Spark 的 Scala 的代码行的数量比一般是 10:1。

大数据对一些数据科学团队来说是主要的挑战，因为在要求的可扩展性方面单机没有能力和容量来运行大规模数据处理。此外，即使专为大数据设计的系统，如 Hadoop，由于一些数据的属性问题也很难有效地处理图数据，我们将在本章的其他部分看到这方面的内容。

Apache Spark 与 Hadoop 类似，数据分布式存储在服务器的集群或者是“节点”上。不同的是，Spark 将数据保存在内存(RAM)中，Hadoop 把数据保存在磁盘(机械硬盘或者 SSD 固态硬盘)中。

定义：在图和集群计算方面，“节点”这个词有两种截然不同的意思。图数据由顶点和边组成，在这里“节点”与顶点的意思相近。在集群计算方面，组成集群的物理机器也被称为“节点”。为避免混淆，我们称图的节点为顶点，这也是 Spark 中的专有名词。而本书中的“节点”这个词我们严格定义为集群中的单个物理计算节点。

虽然本书主要使用 Scala，但是你对 Scala 不熟悉也不用担心，我们在第 3 章提供了快速入门，包括怪异、晦涩和简练的 Scala 语法。进一步熟悉 Java、C++、C#、 Python 等至少一门编程语言是必要的。

模糊的大数据定义

现在的“大数据”概念已经被很大程度地夸大了。大数据的概念可以追溯到Google 在 2003 年发表的 Google 文件系统的论文和 2004 年发表的 Map/Reduce 论文。

大数据这个术语有多种不同的定义，并且有些定义已经失去了大数据所应有的意义。但是简单的核心且至关重要的意义是：大数据是因数据本身太大，单机无法处理。

数据量已经呈爆炸性增长。数据来自网站的点击、服务器日志和带有传感器的硬件等，这些称为数据源。有些数据是图数据(graph data)，意味着由边和顶点组成，如一些协作类网站(属于“Web 2.0”的社交媒体的一种)。大的图数据集实际上是众包的，例如知识互相连接的 Wikipedia、Facebook 的朋友数据、LinkedIn 的连接数据，或者 Twitter 的粉丝数据。

< 上一篇：【佛山IT培训达内】未来——3D场景化潮流

下一篇：数据分析与可视化，你靠什么搞定?【佛山IT培训达内】 >