本篇文章给大家分享的是有关Spark的调优点是什么，小编觉得挺实用的，因此分享给大家学习，希望大家阅读完这篇文章后可以有所收获，话不多说，跟着小编一起来看看吧。
成都创新互联公司-专业网站定制、快速模板网站建设、高性价比醴陵网站开发、企业建站全套包干低至880元,成熟完善的模板库,直接使用。一站式醴陵网站制作公司更省心,省钱,快速模板网站建设找我们，业务覆盖醴陵地区。费用合理售后完善，十年实体公司更值得信赖。
在利用Spark处理数据时，如果数据量不大，那么Spark的默认配置基本就能满足实际的业务场景。但是当数据量大的时候，就需要做一定的参数配置调整和优化，以保证业务的安全、稳定的运行。并且在实际优化中，要考虑不同的场景，采取不同的优化策略。在SparkSreaming流式处理中，合理的设置微批处理时间（batchDuration）是非常有必要的。如果batchDuration设置过短，会导致SparkStreaming频繁提交job。如果每个batchDuration所产生的job不能在这个时间内完成处理，就会造成job不断堆积，最终导致SparkStreaming发生阻塞，甚至程序宕掉。需要根据不同的应用场景和硬件配置等确定，可以根据SparkStreaming的可视化监控界面，观察Total Delay等指标来进行batchDuration的调整。比如SparkStreaming和Kafka集成，采用direct模式时，需要设置参数spark.streaming.kafka.maxRatePerPartition以控制每个Kafka分区最大消费数。该参数默认没有上线，即Kafka当中有多少数据它就会直接全部拉出。但在实际使用中，需要根据生产者写入Kafka的速率以及消费者本身处理数据的速度综合考虑。同时还需要结合上面的batchDuration，使得每个partition拉取的数据，要在每个batchDuration期间顺利处理完毕，做到尽可能高的吞吐量，该参数的调整需参考可视化监控界面中的Input Rate和Processing Time。Spark中的RDD和SparkStreaming中的DStream，如果被反复的使用，最好利用cache或者persist算子，将"数据集"缓存起来，防止过度的调度资源造成的不必要的开销。JVM垃圾回收是非常消耗性能和时间的，尤其是stop world、full gc非常影响程序的正常运行。关于JVM和参数配置，建议研读
《JVM内存管理和垃圾回收》
、
《JVM垃圾回收器、内存分配与回收策略》
、
《内存泄漏、内存溢出和堆外内存，JVM优化配置参数》。每个executor可以占用一个或多个core，可以通过观察CPU的使用率变化来了解计算资源的使用情况。要避免CPU的使用浪费，比如一个executor占用多个core，但是总的CPU利用率却不高。此时建议让每个executor占用相对之前较少的core，同时worker下面增加更多的executor进程来增加并行执行的executor数量，从而提高CPU利用率。同时要考虑内存消耗，毕竟一台机器运行的executor越多，每个executor的内存就越小，容易产生OOM。Spark默认使用Java的序列化机制，但这种Java原生的序列化机制性能却比Kryo差很多。使用Kryo需要进行设置：SparkConf.set("spark.serializer","org.apache.spark.serializer.KryoSerializer")SparkConf.registerKryoClasses(Array(classOf[CustomClass1],classOf[CustomClass2]))
1）使用reduceByKey、aggregateByKey替代groupByKey3）使用
repartitionAndSortWithinPartition
替代repartition与sort操作4）使用mapPartition替代map
5）使用foreachPartition替代foreach
要结合实际使用场景，进行算子的替代优化。
以上就是Spark的调优点是什么，小编相信有部分知识点可能是我们日常工作会见到或用到的。希望你能通过这篇文章学到更多知识。更多详情敬请关注创新互联行业资讯频道。
文章名称：Spark的调优点是什么
当前URL：
http://cdxtjz.cn/article/igshod.html
