Spark報錯:Caused by: java.lang.IllegalArgumentException: Compression codec com.hadoop.compression.lzo

問題

在yarn叢集上送出一個spark-submit的任務，最後抛出一個異常

解決

原因：

因為在之前的項目中，在hadoop中的core-site.xml 和mapred-site.xml檔案配置了lzo格式的壓縮，這就導緻上傳到hdfs 的檔案自動被壓縮為lzo了。是以當使用送出spark-submit任務時，需要通路HDFS上的檔案，而spark自身沒有lzo的jar包是以無法找到。

方法一：

軟連結到spark下的jars目錄，注意自己的hadoop-lzo-0.4.20.jar的目錄！

方法二：

配置<code>spark-default.conf</code>檔案，注意自己的hadoop-lzo-0.4.20.jar的目錄！

在最下面添加一行

如果真的不知道做什麼 那就做好眼前的事情吧 你所希望的事情都會慢慢實作...