hadoop升级小记

青旅半醒 2022-04-13 11:16 526阅读 0赞

\[b\]\[color=green\]\[size=large\]迎合技术发展，公司最近需要对原有的hadoop进行升级操作，升级前的hadoop为1.2.1的版本，升级后的hadoop为hadoop2.2.0的版本，下面散仙总结下升级心得：  
  
（1）hadoop的hdfs系统，支持不同的hadoop版本之间的数据平滑过渡，比如可以直接将Hadoop1.x的数据，升级到hadoop2.x的HDFS上，能够这样升级是最好了，直接从HDFS上进行过渡。此种方法适合同种hadoop版本之间的升级什么意思呢，就是apache hadoop只能和apache hadoop直接升级，而不能跨版本和CDH的hadoop升级，容易出现问题。  
  
（2）如果是跨版本的hadoop升级，从Apache过渡到CDH的Hadoop，或者从CDH的hadoop过渡到Apache的hadoop，那么使用的办法，只能是数据的迁移了，把apache hadoop上的HDFS上的数据拷贝到CDH的hadoop即可。  
当然如果你在同种版本之间升级失败了，你也可以直接把低版本的数据直接拷贝到高版本的hadoop上，即可。  
  
下面开始正文:  
\[/size\]\[/color\]\[/b\]  
\[b\]\[color=olive\]\[size=medium\]1. 升级前原来的hadoop1.x的集群，先做数据备份，主要是对hadoop1.x集群上HDFS上的数据做备份，执行命令  
2. hadoop fs -copyToLocal hdfs上的数据目录 本地磁盘数据 将hadoop1.x上的HDFS上的数据备份下来。  
3. 数据备完后，如有必要，可对hdfs-site.xml里面的dfs.name.dir和dfs.data.dir的路径指定的元数据进行备份，防止出现升级失败造成的不必要的损失  
4. 第二步完成后，即可停掉hadoop1.x的集群，注意查看备份后的数据是否与HDFS上的一样。  
5. 停掉集群后，需要修改环境变量，因为Hadoop1.x和Hadoop2.x的环境变量有一处不一样，就是conf目录的路径，如下所示：  
\[/size\]\[/color\]\[/b\]

export JAVA_HOME="/usr/local/jdk"
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
    export PATH=$PATH:$JAVA_HOME/bin
    
    export HADOOP_HOME=/home/search/hadoop
    hadoop1.x的路径
    export HADOOP_CONF_DIR=$HADOOP_HOME/conf
    hadoop2.x的路径
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    export CLASSPATH=.:$CLASSPATH:$HADOOP_HOME/lib
    export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
    
    export ANT_HOME=/usr/local/ant
    export CLASSPATH=$CLASSPATH:$ANT_HOME/lib
    export PATH=$PATH:$ANT_HOME/bin
    
    export MAVEN_HOME="/usr/local/maven"
    export CLASSPATH=$CLASSPATH:$MAVEN_HOME/lib
    export PATH=$PATH:$MAVEN_HOME/bin
    
    更改后，注意需要把/etc/profile.d/java.sh分发给各个机器。

\[size=large\]6，开始配置安装hadoop2.2.0，上传hadoop2.2.0的压缩包，并解压，解压后，进入etc/hadoop目录配置core-site.xml，hdfs-site.xml,mapred-site.xml,yarn-site.xml，配置属性，参照1.x的配置。  
core-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：  
\[/size\]

<configuration>
      <property>
        <name>fs.defaultFS</name>
        <value>hdfs://hadoop1:8020</value>
      </property>
      <property>
        <name>io.file.buffer.size</name>
        <value>131072</value>
      </property>
      <property>
        <name>hadoop.tmp.dir</name>
        <value>/home/search/tmp</value>
      </property>
      <property>
        <name>hadoop.proxyuser.hadoop.hosts</name>
        <value>*</value>
      </property>
      <property>
        <name>hadoop.proxyuser.hadoop.groups</name>
        <value>*</value>
      </property>
      <property>
        <name>io.native.lib.available</name>
        <value>true</value>
      </property>
    
    </configuration>

\[size=large\]hdfs-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：\[/size\]

<configuration>
    <property>
        <name>dfs.namenode.secondary.http-address</name>
        <value>hadoop1:8021</value>
    </property>
    <property>
        <name>dfs.webhdfs.enabled</name>
        <value>true</value>
    </property>
    <property>
            <name>dfs.blocksize</name>
            <value>134217728</value>
    </property>
    <property>
            <name>dfs.namenode.handler.count</name>
            <value>20</value>
    </property>
    <property>
            <name>dfs.datanode.max.xcievers</name>
            <value>65535</value>
    </property>
    <property>
            <name>dfs.replication</name>
            <value>2</value>
    </property>
    <property>
          <name>dfs.namenode.name.dir</name>
          <value>/data/hadoop-nd</value>
    </property>
    <property>
          <name>dfs.datanode.data.dir</name>
          <value>/data/hadoop-dd</value>
    </property>
    <property>
          <name>dfs.tmp.dir</name>
          <value>/data/hadooptmp</value>
    </property>
    <property>
          <name>dfs.support.broken.append</name>
          <value>true</value>
    </property>
    <property>
          <name>dfs.permissions.enabled</name>
          <value>false</value>
    </property>
    </configuration>

\[size=large\]mapred-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：\[/size\]

<configuration>
    <property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value>
    </property>
    <property>
        <name>mapreduce.jobtracker.address</name>
        <value>hadoop1:8021</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.address</name>
        <value>hadoop1:10020</value>
    </property>
    <property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>hadoop1:19888</value>
    </property>
    <property>
        <name>mapred.max.maps.per.node</name>
        <value>8</value>
    </property>
    <property>
        <name>mapred.max.reduces.per.node</name>
        <value>4</value>
    </property>
    <property>
        <name>mapreduce.map.memory.mb</name>
        <value>4096</value>
    </property>
    <property>
        <name>mapreduce.map.java.opts</name>
        <value>-Xmx3072M</value>
    </property>
    
    <property>
        <name>mapreduce.reduce.memory.mb</name>
        <value>8192</value>
    </property>
    <property>
        <name>mapreduce.reduce.java.opts</name>
        <value>-Xmx6144M</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.mb</name>
        <value>512</value>
    </property>
    <property>
        <name>mapreduce.task.io.sort.factor</name>
        <value>100</value>
    </property>
    </configuration>

\[size=large\]yarn-site.xml里面的内容如下（部分设置参数需要根据机器实际情况做改变）：\[/size\]

<configuration>
    
      <property>
        <name>yarn.resourcemanager.address</name>
        <value>hadoop1:8032</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.address</name>
        <value>hadoop1:8030</value>
      </property>
      <property>
        <name>yarn.resourcemanager.scheduler.class</name>
        <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
      </property>
      <property>
        <name>yarn.resourcemanager.resource-tracker.address</name>
        <value>hadoop1:8031</value>
      </property>
      <property>
        <name>yarn.resourcemanager.admin.address</name>
        <value>hadoop1:8033</value>
      </property>
      <property>
        <name>yarn.resourcemanager.webapp.address</name>
        <value>hadoop1:8088</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value>
      </property>
      <property>
        <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
        <value>org.apache.hadoop.mapred.ShuffleHandler</value>
      </property>
      <property>  
        <description>Classpath for typical applications.</description>  
        <name>yarn.application.classpath</name>  
        <value>$HADOOP_CONF_DIR
        ,$HADOOP_COMMON_HOME/share/hadoop/common/*
        ,$HADOOP_COMMON_HOME/share/hadoop/common/lib/*
        ,$HADOOP_HDFS_HOME/share/hadoop/hdfs/*
        ,$HADOOP_MAPRED_HOME/share/hadoop/mapreduce/*
        ,$YARN_HOME/share/hadoop/yarn/*</value>  
      </property> 
    
    
      <property>
        <name>yarn.nodemanager.resource.memory-mb</name>
        <value>10240</value>
      </property>
    </configuration>

\[size=large\]（1）需要改动的地方，在原来的环境变量里java.sh里面，修改hadoop的conf的路径  
改完后，记得scp到各个节点里的/etc/profile.d/路径下，并将原来hadoop1.x的hadoop目录更改为hadoop1.xold，将hadoop2.2.0的目录重命名为hadoop（可以新建个软连接）  
（2）注意在hdfs-site.xml里面的namenode的dir和datanode.dir指向原来hadoop1.x的元数据地址。  
（3）查看原来的本机是否为计算节点(TaskTracker)，如果不是，slaves里面就不要添加本机的节点信息，slaves里面统一添加hosts里面映射的name信息。  
（4）一切配置完毕后，用scp进行分发，每个节点上发一个  
（5）无须进行格式化操作，直接启动集群，然后查看namenode.log，发现里面抛出error错误，说大概意思你有hdfs文件需要升级：  
\[/size\]

File system image contains an old layout version -41.
    An upgrade to version -47 is required.
    Please restart NameNode with -upgrade option.
            at org.apache.hadoop.hdfs.server.namenode.FSImage.recoverTransitionRead(FSImage.java:221)
            at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFSImage(FSNamesystem.java:787)
            at org.apache.hadoop.hdfs.server.namenode.FSNamesystem.loadFromDisk(FSNamesystem.java:568)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.loadNamesystem(NameNode.java:443)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.initialize(NameNode.java:491)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:684)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.<init>(NameNode.java:669)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.createNameNode(NameNode.java:1254)
            at org.apache.hadoop.hdfs.server.namenode.NameNode.main(NameNode.java:1320)
    2014-07-17 00:21:29,770 INFO org.apache.hadoop.util.ExitUtil: Exiting with status 1
    2014-07-17 00:21:29,773 INFO org.apache.hadoop.hdfs.server.namenode.NameNode: SHUTDOWN_MSG:

\[color=olive\]\[size=large\]然后，停掉hadoop2.2.0的集群，准备执行升级，命令如下：  
sbin/hadoop-daemon.sh start namenode -upgrade  
然后查看，hadoop-namenode.log发现没有原来的的异常，就代表升级成功。此时  
可以先停掉hadoop.2.2.0，执行命令stop-all.sh ,然后重新启动集群,start-all.sh，再次查看namenode.log如果不出错，就代表升级成功了，可以hadoop fs -ls / 查看HDFS上的文件，查看升级后的文件,如果升级失败,清空hadoop2.2.0的集群元数据，格式化namenode，重启hadoop2.2.0的集群，直接把原来hadoop1.x的备份数据,上传到  
hadoop2.2.0的集群即可。  
  
  
注意原来hadoop1的文件参数，hadoop2的对应的配置文件参数一致即可  
  
  
查看各个节点上的jps进程，发现没有问题，，可以跑个基准测试  
  
  
Hadoop自带一些基准测试程序，用来测试集群性能。例如：  
如下的这个程序，会现在每个节点生成1个G的随机数字，然后排序出结果：  
（1）./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar randomwriter rand  
（2）./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-2.2.0.jar sort rand sort-rand  
第一个命令会在rand 目录的生成没有排序的数据。第二个命令会读数据，排序，然后写入rand-sort 目录。  
  
  
（3）顺便记录下，hadoop1.x的基准测试命令：  
生成数据  
hadoop jar hadoop-examples-1.2.1.jar teragen 10000000 input  
排序输出  
hadoop jar hadoop-examples-1.2.1.jar terasort input output  
  
  
\[/size\]\[/color\]  
\[size=large\]如果启动后的hadoop是安全模式的话，可以手动执行hadoop dfsadmin -safemode leave 退出安全模式。\[/size\]