189 8069 5689

SparkSQL性能优化-创新互联

==> 在内存中缓存数据

成都创新互联公司专注于依安企业网站建设,响应式网站,成都做商城网站。依安网站建设公司,为依安等地区提供建站服务。全流程定制网站设计，专业设计，全程项目跟踪，成都创新互联公司专业和态度为您提供的服务

    ---> 性能调优主要是将数据放入内存中操作

  ---> 使用例子：

// 从 Oracle 数据库中读取数据，生成 DataFrame
val oracleDF = spark.read.format("jdbc")
        .option("url", "jdbc:oracle:thin:@192.168.10.100:1521/orcl.example.com")
        .option("dbtable", "scott.emp")
        .option("user", "scott")
        .option("password", "tiger").load
        
// 将 DataFrame 注册成表
oracleDF.registerTempTable("emp")

// 执行查询，并通过 Web Console 监控执行的时间
spark.sql("select * from emp").show

// 将表进行缓存，并查询两次，通过 Web Console 监控执行的时间
spark.sqlContext.cacheTable("emp")

// 清空缓存
spark.sqlContext.cacheTable("emp")
spark.sqlContext.clearCache

==> 优化相关参数


    ---> spark.sql.inMemoryColumnarStorage.compressed

        ---- 默认值： true

      ---- Spark SQL 将会基于统计信息自动地为每一列选择一种压缩编码方式

    ---> spark.sql.inMemoryColumnarStorage.batchSize

        ---- 默认值： 10000

        ---- 缓存批处理大小， 较大的批处理可以提高内存利用率和压缩率，但同时也会带来 OOM(Out Of Memory)的风险

  ---> spark.sql.files.maxPartitionBytes

        ---- 默认值： 128M

        ---- 读取文件时单个分区可容纳的大字节数

  ---> spark.sql.files.openCostinBytes

        ---- 默认值： 4M

        ---- 打开文件的估算成本，按照同一时间能够扫描的字节数来测量，当往一个分区写入多个文件时会使用，高估相对较好，这样小文件分区将会比大文件分区速度更快（优先调度）

  ---> spark.sql.autoBroadcastJoinThreshold

        ---- 默认值：10M

        ---- 用于配置一个表在执行 join 操作时能够广播给所有 worker 节点的大字节大小，通地将这个值设置为-1可以禁用广播，

    ---- 注意：当前 数据统计仅支持已经运行了 ANALYZE TABLE COMPUTE STATISTICS noscan 命令的 Hive Metastore 表

  ---> spark.sql.shuffle.partitions

        ---- 默认值： 200

        ---- 用于配置 join 或聚合操作混洗（shuffle）数据时使用的分区数

另外有需要云服务器可以了解下创新互联scvps.cn，海内外云服务器15元起步，三天无理由+7*72小时售后在线，公司持有idc许可证，提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案，具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势，专为企业上云打造定制，能够满足用户丰富、多元化的应用场景需求。


当前文章：SparkSQL性能优化-创新互联
网站链接：http://cdxtjz.cn/article/jehpj.html

其他资讯