Spark textFile在读取数据遭遇empty string或者ArrayIndexOutOfBoundsException: 2

• • • • 在使用spark textFile读取一个大数据文本 有3万多行，然而在处理过程中 即使用collect().foreach(println)进行打印输出，爆出empty string错误，经过排查，发现并不是存在空行，而是某一行数据存在空值，由于在处理过程中，将每一行中的数字抽取出来，转换成Double类型存入Vectors.dense稠密矩阵中，如果是某一行存在空值，则会爆出下标越界的错误，按此思路处理，果不其然：

在使用spark textFile读取一个大数据文本 有3万多行，然而在处理过程中 即使用collect().foreach(println)进行打印输出，爆出empty string错误，经过排查，发现并不是存在空行，而是某一行数据存在空值，由于在处理过程中，将每一行中的数字抽取出来，转换成Double类型存入Vectors.dense稠密矩阵中，如果是某一行存在空值，则会爆出下标越界的错误，按此思路处理，果不其然：

Caused by: java.lang.ArrayIndexOutOfBoundsException: 2

解决办法：

在处理过程中 filter筛选我们需要的数据

我的处理办法：

spark.sparkContext.textFile("file:///home/maxinehehe/document/ml-1m/adult/adult.data").
      map(_.split(",")).//filter(_!="").filter(p=>(p.size == 15)).
      map(p=>Adult(Vectors.dense(toZero(p(0)), toZero(p(2)), toZero(p(4)),
        toZero(p(10)), toZero(p(11)), toZero(p(12))),p(14).toString())
      ).toDF()
           

然后使用

df.collect.foreach(println)
           

就可以打印出所有数据了。

这个过程中发挥最重要作用的是filter(p=>(p.size == 15))这句代码除掉了长度不满足的行数，最后使用count数了下 就排除了一行，就那一行在捣乱。