Hadoop AWS Word Count 例子

在aws裡用elastic map reduce 開一個cluster

然後登陸master node并編譯以下程式：

設定：

export classpath=$classpath:/home/hadoop/*:/home/hadoop/lib/*:‘.‘

javac wordcount.java

jar cvf wordcount.jar *.class

hadoop jar wordcount.jar wordcount s3://15-319-s13/book-dataset/pg_00 /output

運作成功後，因為output檔案夾在hadoop fs下，是以可以這樣檢視：

hadoop fs -cat /output/part-r-00000  | less

主要參考：