完全分布式---------------
1.配置檔案
[core-site.xml]
hdfs 位址 fs.defaultFS=hdfs://s129:8020/
[hdfs-site.xml] 副本
replication=1 //僞分布
replication=3 //完全分布
[mapred-site.xml] yarn架構
mapreduce.framework.name=yarn
[yarn-site.xml] 資料總管主機名
rm.name=s129
[slaves]
s128
s127
s126
2.分發檔案
a)ssh
openssh-server //sshd
openssh-clients //ssh
openssh //ssh-keygen
b)scp/rsync
3.格式化檔案系統
$>hadoop namenode -format
4.啟動hadoop所有程序
//start-dfs.sh + start-yarn.sh
$>start-all.sh
5.xcall.sh jps
建立符号連接配接 ln -s xxxx xx
ln -s /opt/jdk8/bin/java java
ln -s /opt/jdk8/bin/jps jps
/usr/local/bin/jps
/usr/local/bin/java
6.檢視jps程序
$>xcall.sh jps
或
$>netstat -tunpl | grep 端口号
7.關閉centos的防火牆
$>sudo service firewalld stop // <=6.5 start/stop/status/restart
$>sudo systemctl stop firewalld // 7.0 停止 start/stop/status/restart
$>sudo systemctl disable firewalld //關閉
$>sudo systemctl enable firewalld //啟用
7.最終通過webui
http://s201:50070/
符号連接配接
----------------
1.修改符号連接配接的owner
$>chown -h centos:centos xxx //-h:針對連接配接本身，而不是所指檔案.
2.修改符号連結
$>ln -sfT index.html index //覆寫原有的連接配接。
運作指令
start-all.sh 啟動所有的Hadoop守護程序。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
stop-all.sh 停止所有的Hadoop守護程序。包括NameNode、 Secondary NameNode、DataNode、JobTracker、 TaskTrack
start-dfs.sh 啟動Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode
stop-dfs.sh 停止Hadoop HDFS守護程序NameNode、SecondaryNameNode和DataNode
hadoop-daemons.sh start namenode 單獨啟動NameNode守護程序
hadoop-daemons.sh stop namenode 單獨停止NameNode守護程序
hadoop-daemons.sh start datanode 單獨啟動DataNode守護程序
hadoop-daemons.sh stop datanode 單獨停止DataNode守護程序
hadoop-daemons.sh start secondarynamenode 單獨啟動SecondaryNameNode守護程序
hadoop-daemons.sh stop secondarynamenode 單獨停止SecondaryNameNode守護程序
start-mapred.sh 啟動Hadoop MapReduce守護程序JobTracker和TaskTracker
stop-mapred.sh 停止Hadoop MapReduce守護程序JobTracker和TaskTracker
hadoop-daemons.sh start jobtracker 單獨啟動JobTracker守護程序
hadoop-daemons.sh stop jobtracker 單獨停止JobTracker守護程序
hadoop-daemons.sh start tasktracker 單獨啟動TaskTracker守護程序
hadoop-daemons.sh stop tasktracker 單獨啟動TaskTracker守護程序
hadoop子產品
-------------------
common //
hdfs //
mapreduce //
yarn //
程序
------------------
[hdfs]start-dfs.sh
NameNode NN
DataNode DN
SecondaryNamenode 2NN
[yarn]start-yarn.sh
ResourceMananger RM
NodeManager NM
腳本分析
-------------------
sbin/start-all.sh
--------------
libexec/hadoop-config.sh
start-dfs.sh
start-yarn.sh
sbin/start-dfs.sh
--------------
libexec/hadoop-config.sh
sbin/hadoop-daemons.sh --config .. --hostname .. start namenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start datanode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start sescondarynamenode ...
sbin/hadoop-daemons.sh --config .. --hostname .. start zkfc ... //
sbin/start-yarn.sh
--------------
libexec/yarn-config.sh
bin/yarn-daemon.sh start resourcemanager
bin/yarn-daemons.sh start nodemanager
sbin/hadoop-daemons.sh
----------------------
libexec/hadoop-config.sh
slaves
hadoop-daemon.sh
sbin/hadoop-daemon.sh
-----------------------
libexec/hadoop-config.sh
bin/hdfs ....
sbin/yarn-daemon.sh
-----------------------
libexec/yarn-config.sh
bin/yarn
bin/hadoop
------------------------
hadoop verion //版本
hadoop fs //檔案系統用戶端.
hadoop jar //
hadoop classpath
hadoop checknative
bin/hdfs
------------------------
dfs // === hadoop fs
classpath
namenode -format
secondarynamenode
namenode
journalnode
zkfc
datanode
dfsadmin
haadmin
fsck
balancer
jmxget
mover
oiv
oiv_legacy
oev
fetchdt
getconf
groups
snapshotDiff
lsSnapshottableDir
portmap
nfs3
cacheadmin
crypto
storagepolicies
version
hdfs常用指令
--------------------
hdfs dfs -ls / （檢視檔案系統清單）
$>hdfs dfs -mkdir /usr/local/hadoop/ （建立目錄）
$>hdfs dfs -ls -r /usr/local/hadoop/ （檢視）
$>hdfs dfs -lsr /usr/local/hadoop/（遞歸檢視）
$>hdfs dfs -put jdk-8u191-linux-x64.tar.gz /usr/local/hadoop/ （複制檔案）
$>hdfs dfs -get /usr/local/hadoop/ xxxx （擷取檔案）
$>hdfs dfs -rm -r -f /usr/local/hadoop/ （删除）
no route
--------------------
關閉防火牆。
$>su root
$>xcall.sh "service firewalld stop"
$>xcall.sh "systemctl disable firewalld"
hdfs
--------------------
500G
1024G = 2T/4T
切割。
尋址時間:10ms左右
磁盤速率 : 100M /s
64M
128M //讓尋址時間占用讀取時間的1%.
1ms
1 / 100
size = 181260798
block-0 : 134217728
block-1 : 47043070
--------------------
b0.no : 1073741829
b1.no : 1073741830
HA
-----------------------
high availability,高可用性。通常用幾個9衡量。
99.999%
SPOF:
-----------------------
single point of failure,單點故障。解決：多配置節點至少兩個
secondarynamenode 輔助名稱節點 （定期抓取名稱節點資料 不高可用）
----------------------
HDFS
找到所有的配置檔案
----------------------
1.tar開hadoop-2.7.3.tar.gz
hadoop-2.7.3sharehadoopcommonhadoop-common-2.7.3.jarcore-default.xml
hadoop-2.7.3sharehadoophdfshadoop-hdfs-2.7.3.jarhdfs-default.xml
hadoop-2.7.3sharehadoopmapreducehadoop-mapreduce-client-core-2.7.3.jarmapred-default.xml
hadoop-2.7.3sharehadoopyarnhadoop-yarn-common-2.7.3.jaryarn-site.xml
本地模式
-----------
[core-site.xml]
fs.defaultFS=file:/// //預設值
配置hadoop臨時目錄
---------------------
1.配置[core-site.xml]檔案
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://s129/</value>
</property>
<!--- 配置新的本地目錄 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/hadoop</value>
</property>
</configuration>
//以下屬性均由hadoop.tmp.dir決定,在hdfs-site.xml檔案中配置。
dfs.namenode.name.dir=file://${hadoop.tmp.dir}/dfs/name
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
dfs.datanode.data.dir=file://${hadoop.tmp.dir}/dfs/data
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
dfs.namenode.checkpoint.dir=file://${hadoop.tmp.dir}/dfs/namesecondary
2.分發core-site.xml檔案
$>xsync core-site.xml
3.格式化檔案系統,隻對namenode的本地目錄進行初始化。
$>hadoop namenode -format //hdfs namenode -format
4.啟動hadoop
$>start-dfs.sh
使用xcall.sh在所有節點上建立jps符号連接配接，指向/soft/jdk/bin/jps
------------------------------------------------------------------
1.切換到root使用者
$>su root
2.建立符号連接配接
$>xcall.sh "ln -sfT /soft/jdk/bin/jps /usr/local/bin/jps"
3.修改jps符号連接配接的owner
$>xcall.sh "chown -h centos:centos /usr/local/bin/jps"
4.檢視所有主機上的java程序
$>xcall.sh jps
在centos桌面版中安裝eclipse 在虛拟機中編寫代碼
----------------------------
1.下載下傳eclipse linux版
eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz
2.tar開到/soft下,
$>tar -xzvf eclipse-jee-mars-R-linux-gtk-x86_64.tar.gz -C /soft
3.啟動eclipse
$>cd /soft/eclipse
$>./eclipse & //背景啟動
4.建立桌面快捷方式
$>ln -s /soft/eclipse/eclipse ~/Desktop/eclipse
5.