Hadoop多节点集群
当前位置：以往代写 > 其他教程 >Hadoop多节点集群

Hadoop多节点集群

2019-06-14

Hadoop多节点集群

Hadoop多节点集群


本章先容了在漫衍式情况中Hadoop多节点集群的配置。

由于整个集群不能表示出来，这里作为示例，我们利用三个系统(一个主机和两个从机)的Hadoop集群情况;下面给出的是其IP地点。

  • Hadoop 主机: 192.168.1.15 (hadoop-master)
  • Hadoop 从机: 192.168.1.16 (hadoop-slave-1)
  • Hadoop 从机: 192.168.1.17 (hadoop-slave-2)

    • 凭据下面给出Hadoop的多节点集群配置的步调。

    安装Java

    Java是Hadoop的主要先决条件。首先，应该利用 “java -version”在系统上查抄 java 是否已经安装。Java version 呼吁的语法如下。

    $ java -version

    假如一切正常，它会给出下面的输出。

    java version "1.7.0_71" 
Java(TM) SE Runtime Environment (build 1.7.0_71-b13) 
Java HotSpot(TM) Client VM (build 25.0-b02, mixed mode)

    假如Java尚未安装系统中，那么可以凭据下面给定的步调来安装Java。

    第1步

    下载Java（JDK – X64.tar.gz）通过会见以下链接 http://www.oracle.com/technetwork/java/javase/downloads/jdk7-downloads-1880260.html

    那么jdk-7u71-linux-x64.tar.gz下载到系统。

    第2步

    一般来说，在下载文件夹中找到下载的Java文件。利用下面的呼吁提取 jdk-7u71-linux-x64.gz 文件。

    $ cd Downloads/
$ ls
jdk-7u71-Linux-x64.gz
$ tar zxf jdk-7u71-Linux-x64.gz
$ ls
jdk1.7.0_71 jdk-7u71-Linux-x64.gz

    第3步

    为了使Java能提供应所有用户，必需将它移动到 “/usr/local/” 的位置。利用root用户打开然后键入以下呼吁。

    $ su
password:
# mv jdk1.7.0_71 /usr/local/
# exit

    第4步

    有关配置 PATH 和 JAVA_HOME 变量，添加以下呼吁到 ~/.bashrc 文件。

    export JAVA_HOME=/usr/local/jdk1.7.0_71
export PATH=PATH:$JAVA_HOME/bin

    此刻利用java -version呼吁从终端验证上述说明。凭据上面的进程，并在所有群集节点安装java。

    建设用户帐户

    在主机和从机系统上建设一个系统用户帐户来安装Hadoop。

    # useradd hadoop 
# passwd hadoop

    映射节点

    编辑hosts文件在所有节点的/etc/目次，指定每个系统后头的主机名和IP地点。

    # vi /etc/hosts
enter the following lines in the /etc/hosts file.
192.168.1.109 hadoop-master 
192.168.1.145 hadoop-slave-1 
192.168.56.1 hadoop-slave-2

    设置基于密钥登录

    #p#分页标题#e#

    在每一个节点，配置的ssh使得它们可在没有任何提示暗码互相通信。

    # su hadoop 
$ ssh-keygen -t rsa 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 
$ ssh-copy-id -i ~/.ssh/id_rsa.pub [email protected] 
$ chmod 0600 ~/.ssh/authorized_keys 
$ exit

    安装Hadoop

    在主处事器上，下载并利用以下呼吁安装Hadoop。

    # mkdir /opt/hadoop 
# cd /opt/hadoop/ 
# wget http://apache.mesi.com.ar/hadoop/common/hadoop-1.2.1/hadoop-1.2.0.tar.gz 
# tar -xzf hadoop-1.2.0.tar.gz 
# mv hadoop-1.2.0 hadoop
# chown -R hadoop /opt/hadoop 
# cd /opt/hadoop/hadoop/

    设置Hadoop

    必需做以下修改，如下所示设置Hadoop的处事器。

    core-site.xml

    打开 core-site.xml文件并对其举办编辑，如下图所示。

    <configuration>
   <property> 
      <name>fs.default.name</name> 
      <value>hdfs://hadoop-master:9000/</value> 
   </property> 
   <property> 
      <name>dfs.permissions</name> 
      <value>false</value> 
   </property> 
</configuration>

    hdfs-site.xml

    打开hdfs-site.xml文件并对其举办编辑，如下图所示。

    <configuration>
   <property> 
      <name>dfs.data.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name/data</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.name.dir</name> 
      <value>/opt/hadoop/hadoop/dfs/name</value> 
      <final>true</final> 
   </property> 

   <property> 
      <name>dfs.replication</name> 
      <value>1</value> 
   </property> 
</configuration>

    mapred-site.xml

    打开mapred-site.xml文件并对其举办编辑，如下图所示。

    <configuration>
   <property> 
      <name>mapred.job.tracker</name> 
      <value>hadoop-master:9001</value> 
   </property> 
</configuration>

    hadoop-env.sh

    打开hadoop-env.sh文件并编辑JAVA_HOME，HADOOP_CONF_DIR和HADOOP_OPTS，如下图所示。

    留意：按照系统设置配置JAVA_HOME 。

    export JAVA_HOME=/opt/jdk1.7.0_17 export HADOOP_OPTS=-Djava.net.preferIPv4Stack=true export HADOOP_CONF_DIR=/opt/hadoop/hadoop/conf

    在从处事器上安装Hadoop

    对所有从处事器凭据给定的呼吁安装Hadoop。

    # su hadoop 
$ cd /opt/hadoop 
$ scp -r hadoop hadoop-slave-1:/opt/hadoop 
$ scp -r hadoop hadoop-slave-2:/opt/hadoop

    主处事器上设置Hadoop

    #p#分页标题#e#

    打开主处事器，并凭据给定的呼吁举办设置。

    # su hadoop 
$ cd /opt/hadoop/hadoop

    设置主节点

    $ vi etc/hadoop/masters
hadoop-master

    设置从节点

    $ vi etc/hadoop/slaves
hadoop-slave-1 
hadoop-slave-2

    Hadoop主处事器上名目名称节点

    # su hadoop 
$ cd /opt/hadoop/hadoop 
$ bin/hadoop namenode –format
    11/10/14 10:58:07 INFO namenode.NameNode: STARTUP_MSG: /************************************************************ 
STARTUP_MSG: Starting NameNode 
STARTUP_MSG: host = hadoop-master/192.168.1.109 
STARTUP_MSG: args = [-format] 
STARTUP_MSG: version = 1.2.0 
STARTUP_MSG: build = https://svn.apache.org/repos/asf/hadoop/common/branches/branch-1.2 -r 1479473; compiled by 'hortonfo' on Mon May 6 06:59:37 UTC 2013 
STARTUP_MSG: java = 1.7.0_71 ************************************************************/ 11/10/14 10:58:08 INFO util.GSet: Computing capacity for map BlocksMap editlog=/opt/hadoop/hadoop/dfs/name/current/edits
………………………………………………….
………………………………………………….
…………………………………………………. 11/10/14 10:58:08 INFO common.Storage: Storage directory /opt/hadoop/hadoop/dfs/name has been successfully formatted. 11/10/14 10:58:08 INFO namenode.NameNode: 
SHUTDOWN_MSG: /************************************************************ SHUTDOWN_MSG: Shutting down NameNode at hadoop-master/192.168.1.15 ************************************************************/

    启动Hadoop处事

    下面的呼吁是启动主Hadoop的所有Hadoop处事。

    $ cd $HADOOP_HOME/sbin
$ start-all.sh

    在Hadoop集群的添加新DataNode

    下面给出遵循增加新节点Hadoop集群的步调。

    网络

    添加新节点用一些适当的网络设置Hadoop集群。假设下面的网络设置。

    对付新的节点设置：

    IP address : 192.168.1.103 
netmask : 255.255.255.0
hostname : slave3.in

    添加用户和SSH会见

    添加用户

    #p#分页标题#e#

    在一个新的节点，利用以下呼吁添加“hadoopuser”用户并配置暗码为“hadoop123”。

    useradd hadoop
passwd hadoop

    从主机毗连到新的从属机配置暗码。

    在主机执行以下

    mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh 
ssh-keygen -t rsa -P '' -f $HOME/.ssh/id_rsa 
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys
Copy the public key to new slave node in hadoop user $HOME directory
scp $HOME/.ssh/id_rsa.pub [email protected]:/home/hadoop/

    在从机以下执行

    登录到Hadoop。假如不是则登录到 Hadoop 用户。

    su hadoop ssh -X [email protected]

    复制公钥进入文件的内容 "$HOME/.ssh/authorized_keys" 并通过执行以下呼吁改变为沟通的权限。

    cd $HOME
mkdir -p $HOME/.ssh 
chmod 700 $HOME/.ssh
cat id_rsa.pub >>$HOME/.ssh/authorized_keys 
chmod 644 $HOME/.ssh/authorized_keys

    查抄SSH登录从主计较机。此刻查抄是否可以ssh到新的节点，从主机登岸不需要暗码。

    ssh [email protected] or [email protected]

    新节点的主机名配置

    配置主机名的文件 /etc/sysconfig/network

    On new slave3 machine
NETWORKING=yes 
HOSTNAME=slave3.in

    为了使变动生效，请从头启动计较机或运行hostname呼吁，以新机与相应的主机名（重启是一个不错的选择）。

    在slave3节点机：

    主机名 slave3. 在更新 /etc/ 集群具有以下行的所有呆板从机：

    192.168.1.102 slave3.in slave3

    此刻实验 ping 计较机主机名来查抄它是否理会为IP。

    在新的节点机：

    ping master.in

    启动新节点的DataNode

    启动数据节点守护历程手动利用$HADOOP_HOME/bin/hadoop-daemon.sh剧本。它会自动接洽主（NameNode），并插手集群。我们还应该将新节点添加到主处事器在conf/从机文件。基于剧本的呼吁将识别新节点。

    登录新节点

    su hadoop or ssh -X [email protected]

    启动HDFS新添加从节点，通过利用以下呼吁

    ./bin/hadoop-daemon.sh start datanode

    查抄输出一个新的节点上利用jps 呼吁。它看起来如下。

    $ jps
7141 DataNode
10312 Jps

    从Hadoop集群中删除DataNode

    #p#分页标题#e#

    我们可以从正在运行一个集群中删除一个节点，在运行时，不会丢失任何数据。 HDFS提供了一个退役的成果，它可以确保删除节点安详地执行。要利用它，凭据下列步调，如下所示：

    第1步：登录到主机

    登录主机用户安装了Hadoop。

    $ su hadoop

    第2步：修改集群设置

    解除文件必需在启动群集之前举办设置。添加一个名为键 dfs.hosts.exclude到$HADOOP_HOME/etc/hadoop/hdfs-site.xml文件。与此键关联的值提供了完整路径的NameNode是当地文件系统上的文件，个中包括未答允毗连到HDFS的呆板列表。

    譬喻，添加这些行到etc/hadoop/hdfs-site.xml文件。

    <property> 
   <name>dfs.hosts.exclude</name> 
   <value>/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt</value> 
   <description>DFS exclude</description> 
</property>

    第3步：确定主机可裁减

    每台呆板要遏制利用应该利用每一行标识添加到在一个域名的文件：hdfs_exclude.txt。这将阻止它们毗连到NameNode。在“/home/hadoop/hadoop-1.2.1/hdfs_exclude.txt”文件的内容如下图所示，假如想删除DataNode2。

    slave2.in

    第4步：强制设置重装

    运行呼吁“$ HADOOP_HOME/ bin中/ Hadoop的dfsadmin-refreshNodes”不带引号。

    $ $HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes

    这将迫使NameNode会从头读取它的设置，个中包罗最近更新的“解除”的文件。它将遏制利用该节点在一段时间，让时间为每个节点的块被复制到被布置要保持活泼的呆板。

    在slave2.in，查抄JPS呼吁的输出。一段时间后会看到DataNode进程是自动关机。

    第5步：封锁节点

    遏制利用处理惩罚竣事之后，遏制利用硬件可以安详地封锁，举办维修。运行陈诉呼吁dfsadmin查抄退役的状态。以下呼吁将描写退役节点的状态和所毗连的节点集群。

    $ $HADOOP_HOME/bin/hadoop dfsadmin -report

    第6步：编辑文件再次解除

    #p#分页标题#e#

    一旦机已经遏制利用，他们可以从'不包罗'文件被删除。运行“$HADOOP_HOME/bin/hadoop dfsadmin -refreshNodes”再次将读取文件解除放回NameNode;答允DataNodes从头插手群集，维护事情已经完成，或特另外容量，需要集群中再次等后

    出格留意：假如上述进程向TaskTracker处理惩罚节点上之后仍在运行，它需要封锁。一种方法是在上述步调确实断开的呆板。主机将自动识别进程声明为无效。没有须要遵循沟通的进程用于删除TaskTracker，因为它对比于DataNode不是要害。DataNode包括要安详地删除没有任何数据丢失。

    TaskTracker可以在任何时间点运行以下呼吁关机。

    $ $HADOOP_HOME/bin/hadoop-daemon.sh stop tasktracker $HADOOP_HOME/bin/hadoop-daemon.sh start tasktracker

      关键字：

    在线提交作业