189 8069 5689

spark2.x由浅入深深到底系列六之RDDapireduceByKey与foldByKey对比

学习spark任何知识点之前，最好先正确理解spark，可以参考：正确理解spark

万柏林ssl适用于网站、小程序/APP、API接口等需要进行数据传输应用场景，ssl证书未来市场广阔！成为成都创新互联的ssl证书销售渠道，可以享受市场价格4-6折优惠！如果有意向欢迎电话联系或者加微信：18982081108（备注：SSL证书合作）期待与您的合作！

一、序言

    对于key-value类型RDD的两个api， reduceByKey与foldByKey，我们往往只是简单的知道它们不同的点就是foldByKey比reduceByKey多了一个初始值，但是仅仅知道这么一点是完全不够的，我们还是不知道怎么合理的去用这两个api，所以有必要对两个api做一个详细的对比。我们接下来先从RDD的另外两个action api reduce和fold入手，然后慢慢的分析reduceByKey与foldByKey使用场景

二、RDD action Api -- reduce 和 fold

我们从如下两个方面来对比这两个api

1、分别对空的RDD应用这两个Api，如下：

//创建一个空的RDD
val emptyRdd = sc.emptyRDD[Int]

//对空的RDD进行reduce会报如下错
//java.lang.UnsupportedOperationException: empty collection
//  at org.apache.spark.rdd.RDD$$anonfun$reduce$1$$anonfun$apply$36.apply(RDD.scala:1027)
emptyRdd.reduce(_ + _)

//对空的RDD进行fold则不会，而是返回0
emptyRdd.fold(0)(_ + _) // res1: Int = 0

2、从产生临时对象的多少来区别这两个api

//创建一个RDD，RDD的类型为ArrayBuffer
val testRdds = sc.parallelize(Seq(ArrayBuffer(0, 1, 3), ArrayBuffer(2, 4, 5)))

//对testRdds进行reduce，如下：
//会产生很多的中间临时对象 因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象
testRdds.reduce(_ ++ _)

//对testRdds进行fold，如下：
// ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象
testRdds.fold(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem)

从上面可以看出，fold操作将会产生很少的中间对象，如果中间对象太多了的话，则会导致gc频繁，进而影响性能，所以使用reduce和fold的时候，我们需要考虑下会不会产生很多的临时对象，如果会的话，我们能不能使用fold操作来避免产生过多的中间对象

三、key-value类型RDD api -- reduceByKey与foldByKey

我们也是从如下两个方面来考虑：

1、对空的RDD应用这两个Api，行为是一致的，都是返回0

val emptyKeyValueRdd = sc.emptyRDD[(Int, Int)]
emptyKeyValueRdd.reduceByKey(_ + _).collect  //0
emptyKeyValueRdd.foldByKey((0))(_ + _).collect  //0

2、从产生临时对象的多少来区别这两个api

//构建一个key-value类型的RDD
val testPairRdds = sc.parallelize(Seq(("key1", ArrayBuffer(0, 1, 3)),
  ("key2", ArrayBuffer(2, 4, 5)), ("key1", ArrayBuffer(2, 1, 3))))

//对testPairRdds应用reduceByKey, 如果相同的key的数据特别多的话，也会产生特别多的临时对象，因为ArrayBuffer ++ ArrayBuffer会创建一个新的ArrayBuffer对象
testPairRdds.reduceByKey(_ ++ _).collect()

//对testPairRdds应用foldByKey,对每一个key来说，ArrayBuffer只初始化一次，每次都是将ArrayBuffer append到之前的ArrayBuffer中，不会产生中间临时对象
testPairRdds.foldByKey(ArrayBuffer.empty[Int])((buff, elem) => buff ++= elem).collect()

从上面也可以看出，foldByKey与reduceByKey的应用场景其实和fold与reduce是一样的，所以对于中间临时对象产生的情况下，我们需要在foldByKey与reduceByKey两者中选择好

对于RDD其他的api的原理及其使用的时候需要注意的点，可以参考：spark core RDD api原理详解


本文标题：spark2.x由浅入深深到底系列六之RDDapireduceByKey与foldByKey对比
网页路径：http://cdxtjz.cn/article/gihjis.html

其他资讯