spark-6-spark streaming對接kafka

【注意：spark僞分布式安裝需要至少2個core才能保證輸出sparkstreaming處理的kafka資訊】

【注意：spark單機版需要至少local[2]才能保證】

(1)python3.6Anaconda安裝

(2)檢視spark的版本

進入/usr/local/spark/jars檢視jar包确認版本【spark2.4.5】

(3)檢視kafka版本

進入/usr/local/kafka/libs檢視jar包确認版本【kafka2.2.0】

1 軟體及相關依賴

【https://mvnrepository.com/artifact/org.apache.spark】

【https://repo1.maven.org/maven2/org/apache/spark/下載下傳相關依賴】

1.1 jar包版本

(1)spark-streaming-kafka的jar包對應的spark版本

spark-streaming-kafka-assembly_2.10/

spark-streaming-kafka-assembly_2.11/

spark-streaming-kafka_2.10/

spark-streaming-kafka_2.11/