異常:
Exception in thread "main" org.apache.spark.SparkException: Cannot use map-side combining with array keys
原因:
使用 reduceByKey、countByValue 等,需要使用 flatMap,如果用map處理會抛以上異常。
flatMap:主要用于spark Streaming
map:到處用
差別:
以讀檔案例:map會為每一行傳回一個對象,但flatMap會彙總每行傳回的對象成為一個更大的對象(map-side的錯誤也能看得出)
附:wordcount的兩種寫法:
val lines=sc.textFile("wordcount.txt")
val rdd1 = lines.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)
val rdd2 = lines.flatMap(lines=>lines.split(" ")).countByValue()
rdd1 和 rdd2 結果一樣