Spark - Spark 概述
Spark 是一种基于内存的快速、通用、可扩展的大数据分析引擎。
Spark内置模块
Spark内置模块
- Spark SQL：是Spark用来操作结构化数据的程序包。通过 Spark SQL，我们可以使用 SQL 或者 Apache Hive 版本的 SQL 方言（HQL）来查询数据。
- Spark Streaming：是Spark用来操作结构化数据的程序包，可以使用SQL或者HQL来对历史数据做交互式查询（即席查询：用户根据自己的需求自定义查询）。Spark SQL 支持多种数据源，比如 Hive表，Parquet以及JSON等。
- Spark Mlib：构建在Spark之上，提供常见的机器学习（ML）功能的程序库，支持一系列数据挖掘算法。包括分类、回归、聚类、协同过滤，还提供了模型评估、数据导入等额外的支持功能。
- Spark GraghX：图计算（关注事物本身而且关注事物之间的联系）
- SparkCore：实现了Spark的基本功能，包含任务调度、内存管理、错误恢复、与存储系统交互等模块。Spark Core 中还包含了对弹性分布式数据集（Resilient Distributed DataSet，简称RDD）的 API 定义。