為hadoop叢集中單個datanode添加硬碟

最近實驗室的小叢集當中的一個datanode硬碟容量快用完了，考慮着要加塊1T的新硬碟，但是卻被這麼一個小問題折騰了好一會才解決，特地在此記錄一下，希望為看到這篇文章的朋友們節約寶貴的時間。

Ubuntu環境下挂載新硬碟

這篇文章已經寫得很詳細了，寫得很不錯，在Ubuntu環境下挂載新硬碟可以看這篇。

唯一有點差別的是“硬碟在系統啟動自動挂載”這一部分。我的配置為：

修改hdfs-site.xml檔案

• 給被挂載的目錄賦予權限

  sudo chown -R hadoop:hadoop /home/hadoop/hdp-data/data1/hdfs

• 修改hdfs-site.xml

  <property>
  <name>dfs.datanode.data.dir</name>
  <value>
      file:/opt/hadoop-2.7.2/tmp/dfs/data,
      file:/home/hadoop/hdp-data/data1/hdfs
  </value>
  </property>
             

  注：用“，”将新舊目錄隔開

  如果你有HBase的話，也需要在 conf/hdfs-site.xml 中做相同更改

檢測

啟動dfs和yarn之後，執行如下指令：

• ./bin/hdfs dfsadmin -report

檢視需要添加hdfs容量的節點，容量是否有增加。