天天看点

在ubuntu中安装单机Hadoop(四)

接着上一篇“在ubuntu中安装单机Hadoop(三)”

参考资料:资料链接

继续记录在Ubuntu上安装Hadoop,一共是下面几步:

1. 在Ubuntu中建立hadoop用户组和用户

2. 安装JDK

3. 修改机器名

4. 安装ssh服务

5. 建立ssh无密码登录本机

6. 安装hadoop

7. 在单机上运行hadoop

其中,1-5步已经在前面的文章中记录过啦。现在从第6步开始。

六、安装Hadoop

在hadoop的官网,找到download, 找到镜像文件。点击mirror site

在ubuntu中安装单机Hadoop(四)

然后继续点 ...

在ubuntu中安装单机Hadoop(四)

下载stable版本的就好。

下面就是...当当当... 安装hadoop了。

1. 将hadoop-2.9.0.tar.gz 文件复制到/usr/local/ 目录下

在ubuntu中安装单机Hadoop(四)

因为该文件的owner是yin,因此还需要设置一下文件权限:

sudo chmod 777 hadoop-2.9.0.tar.gz
           
在ubuntu中安装单机Hadoop(四)

2. 解压 hadoop-2.9.0.tar.gz

sudo tar -zxf hadoop-2.9.0.tar.gz 
           

3. 将解压出的文件名改为hadoop

在ubuntu中安装单机Hadoop(四)

4. 将hadoop的文件夹的owner设为hadoop(^ _ ^)

在ubuntu中安装单机Hadoop(四)

Hadoop解压后即可使用。输入以下命令:

cd /usr/local/hadoop
./bin/hadoop version
           
在ubuntu中安装单机Hadoop(四)

Hadoop 默认模式为非分布式模式,无需进行其他配置即可运行。非分布式即单Java进程。

为了不用在固定位置使用hadoop命令,可以配置环境变量。

在hadoop的 ~/.bashrc 文件尾部添加:

export HADOOP_INSTALL=/usr/local/hadoop
export PATH=$PATH:${HADOOP_INSTALL}/bin:${HADOOP_INSTALL}/sbin
           

然后,重新加载一下:

source ~/.bashrc

即可在任意位置使用hadoop命令(该用户登录下)。

七、在单机上运行Hadoop

运行Hadoop里给出的例子,wordcount 。

自己建一个input文件放入一个测试文本吧。output不用建。

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.0.jar wordcount input/words.txt output
           
在ubuntu中安装单机Hadoop(四)

Done.

在运行的时候,一开始出现报错,不能识别机器。

后来发现是,当初改机器名的时候,修改了 /etc/hostname

然而,/etc/hosts 中,仍然是老的机器名。因此,后来把 /etc/hosts 中的机器名也改过来就好了。

继续阅读