idea创建maven工程的spark项目

idea工具可以创建maven工程的spark项目，今天就试着做了一下，然后写了一个基于集合创建RDD的小的demo，并且遇到了不少的坑，在这里总结一下。

创建maven工程的spark项目

这个项目是基于scala语言进行开发的

下面是截图步骤

基于集合创建RDD

object RddBasedOnCollections {
  def main(args: Array[String]): Unit = {
    val conf = new SparkConf();
    conf.setMaster("local")
    conf.setAppName("RddBasedOnCollections")

    val sc = new SparkContext(conf)
    val numbers =  to 
    val rdd = sc.parallelize(numbers) // 创建rdd
    val sum = rdd.reduce(_+_) //-求和
    println("1+2+3+...+99+100 = " + sum)
  }
}
           

运行查看结果

遇到的问题

问题一

Error:scalac: bad symbolic reference. A signature in package.class refers to type compileTimeOnly

in package scala.annotation which is not available.

这个问题很明显是版本冲突的问题，编译运行时候出现了报错。

解决方案:

引入的

org.scala-lang

版本是本机中的版本

2.10.4

<dependency>
      <groupId>org.scala-lang</groupId>
      <artifactId>scala-library</artifactId>
      <version>${scala.version}</version>
    </dependency>
           

问题二

Exception in thread “main” java.lang.NoSuchMethodError: scala.Predef . <script type="math/tex" id="MathJax-Element-3">.</script>conforms()Lscala/Predef$$less$colon$less;

解决方案

引入的

spark-core_*

要与scala版本相一致。即

spark-core_2.10

<dependency>
      <groupId>org.apache.spark</groupId>
      <artifactId>spark-core_2.10</artifactId>
      <version>${spark.version}</version>
    </dependency>
           

问题三

java.lang.IllegalArgumentException: System memory 259522560 must be at least 471859200. Please increase heap size using the –driver-memory option or spark.driver.memory in Spark configuration.

虚拟机内存分配太小

解决方案

在vmoption中设置-Xmx512M就足够了