天天看點

Cannot use map-side combining with array keys

異常:

Exception in thread "main" org.apache.spark.SparkException: Cannot use map-side combining with array keys

原因:

使用 reduceByKey、countByValue 等,需要使用 flatMap,如果用map處理會抛以上異常。

flatMap:主要用于spark Streaming

map:到處用

差別:

以讀檔案例:map會為每一行傳回一個對象,但flatMap會彙總每行傳回的對象成為一個更大的對象(map-side的錯誤也能看得出)

附:wordcount的兩種寫法:

val lines=sc.textFile("wordcount.txt")

val rdd1 = lines.flatMap(x=>x.split(" ")).map(x=>(x,1)).reduceByKey(_+_)
val rdd2 = lines.flatMap(lines=>lines.split(" ")).countByValue()
           

rdd1 和 rdd2 結果一樣

繼續閱讀