Spark Streaming 的saveAsTextFiles遇到的坑

使用sparkStreaming消费数据，并使用Dstream的 saveAsTextFile保存数据到hdfs中，通过使用这个方法，生成的文件夹存在问题，

代码例子如下：

    resultRdd.map(x=>x).saveAsTextFiles("hdfs:ip//data/storage/20181010/"+(new Date()))  //new Date()自行转化

    ssc.start()

    ssc.awaitermination()

而hsfs中目录显示为

   /data/storage/20181010/201810100708223-1547016648000

   /data/storage/20181010/201810100708223-1547016652000

   /data/storage/20181010/201810100708223-1547016658000

   .........................................

从中发现最后面多了一条横杠 -和时间戳1547016648000，是根据间隔时间自动生成的，但是我不想要他后面的-1547016648000，

并且201810100708223日期固定住了

查看saveAsTextFiles源码

def saveAsTextFiles(prefix: String, suffix: String = ""): Unit = ssc.withScope {

  val saveFunc = (rdd: RDD[T], time: Time) => {

    val file = rddToFileName(prefix, suffix,time)

    rdd.saveAsTextFile(file)

  }

  this.foreachRDD(saveFunc)

}           

saveAsTextFiles方法中也是调用了saveAsTextFile方法，其中有个添加时间戳的方法。

于是我根据源码自己使用foreachRDD，生成文件使用saveAsTextFile

resultRdd.foreachRDD{

rdd=>{}

rdd.map(x=>x).saveAsTextFile("hdfs:ip//data/storage/20181010/"+(new Date()))  //new Date()自行转化

}



ssc.start()

ssc.awaitermination()           

现在hsfs中目录显示为

   /data/storage/20181010/201810100708223

   /data/storage/20181010/201810100708460

达到自己想要的结果，根据streaming 间隔时间生成文件夹，并其中包含文件。