189 8069 5689

Spark简介

==> 什么是 Spark

创新互联建站是一家专业提供三江侗企业网站建设,专注与成都做网站、网站制作、成都h5网站建设、小程序制作等业务。10年已为三江侗众多企业、政府机构等服务。创新互联专业网络公司优惠进行中。

    ---> Spark 是一个针对大规模数据处理的快速通用引擎

    ---> Spark 是 MapReduce 的替代方案,而且兼容 HDFS, Hive, 可容入Hadoop 的生态系统,弥补 MapReduce 的不足


==> Spark 核心    RDD (Resilient Distributed Datasets  弹性分布式数据集)

    ---> RDD 可简单理解为: 一个提供了很多操作接口的数据集合,分布式存储于集群环境中的存储设备中(内存或硬盘),其中包括容错,并行处理等功能

==> Spark 特点

    ---> 快

        ---- 优点:与Mapreduce 相比,Spark 基于内存运算,运算速度要快100倍,基于硬盘计算,运算速度要快 10 倍

        ---- 缺点:没有对内存进行管理,把所有的内存管理都交给应用程序,以弥补MapReduce的不足,

                        容易出现 OOM(out  of  memory), 可使用 Java  Heap  Dump  工具分析 Java 程序的内存溢出

    ---> 易用 

        ---- Spark 支持 Java ,Python, Scala 的 API 

        ---- 支持80多种算法

        ---- 支持交互式,可以在shell 中使用Spark 验证解决问题的方法

    ---> 通用(生态圈)

        ---- 批处理

        ---- 交互式查询   (Spark  SQL)

        ---- 实时流处理    (Spark Streaming)

        ---- 机器学习        ( Spark  MLlib )

        ---- 图计算            ( GraphX )

        ---- 与 Hadoop 很好的融合, 可以直接操作 HDFS, 并提供 Hive on Spark, Pig on Spark的框架集成 Hadoop(配置Hive on Spark 还不成熟)


    ---> 兼容性    可以非常方便的与其它开源产品进行融合

        ---- 可以使用 Hadoop 的  YARN 和 Apache  Mesos 作为它的资源管理调度器

        ----  可以处理所有 Hadoop 支持的数据:HDFS, HBase,  Cassandra 等

        ---- 不需要做任何的数据迁移就可以使用 Spark 的强大处理能力

        ---- 可以不依赖第三方的资源管理和调度器,实现 Standalone 作为它的内置的资源管理和调试框架,降低部署的复杂性

        ----  提供了在 EC2 上部署 Standalone 的Spark 集群工具

==> Spark 生太圈

    ---> Spark Core

    ---> Spark SQL

    ---> Spark Streaming

    ---> Spark MLLib: 机器学习

    ---> Spark GraphX: 图计算



本文题目:Spark简介
本文地址:http://cdxtjz.cn/article/jccdco.html

其他资讯