hadoop2.2生态系统快速安装脚本

待我称王封你为后i 2022-04-12 03:12 217阅读 0赞

\[b\]\[color=green\]\[size=large\]对于使用hadoop进行开发的朋友们，可能要自己搭建一套hadoop的运行环境，如果不是经常变动的还好，如果，经常搭建而且还是多台机器，那么我们一个个的安装，就显得有点捉襟见肘了，这也是这个脚本诞生的目的，主要帮助我们在快速搭建hadoop集群，以及安装底层的配置依赖环境如JDK，Maven，Ant等，在安装hadoop前，还有一些关于linux基础的工作需要做，包括SSH无密码登陆和批量用户创建，不过，别担心，散仙已经写好了，大家直接用就OK， 需要的朋友，请点击\[url=http://qindongliang.iteye.com/blog/2117973\]此处\[/url\]  
如果ssh认证搞定和hadoop的用户创建完毕后，我们就可以，执行散仙的脚本进行安装了  
  
说明如下：  
\[/size\]\[/color\]\[/b\]

脚本开发者:三劫散仙
    技术交流群：376932160
    
    本脚本的主要作用： 给hadoop的快速大规模的集群分发安装提供了准备，能够很快的完成部分基础设施工作，
    在这上面我们可以直接配置hadoop，hbase等，然后就能快速使用了。
    
    
    本hadoopsys的安装包，带了如下几种开源框架
    
    1，Ant1.9.4
    2，Maven3.0.5
    3，JDK1.7u25
    4，Hadoop2.2.0
    5，Hbase0.96.2
    6，Zookeeper3.4.5
    7，Hive0.13.13
    全是Java有关的框架，主要目的在于安装Hadoop，其他的都是附带的基本配置
    
    本脚本能够快速在Linux上安装JAVA环境，并部署hadoop，其中关于hadoop，hbase和Zookeeper的配置
    分别在压缩包内的conf目录，关于Hive，暂时没有安装。
    
    
    脚本配置说明：
    1，第一个要配置的是hosts文件，不是系统的hosts文件，而是我们集群安装的集群ip
    2，默认的脚本是放在root根目录下，所有的文件压缩包解压到根目录下hadoopsys文件里
    3，配置etc，hadoopconf文件，hbaseconf文件，zkconf文件，后，执行repack脚本，进行重新
    打包。
    4，然后执行pub脚本，进行机器分发压缩包，并解压
    5，最后执行begin脚本，开始执行安装
    6，注意一点，在etc/java.sh和begin.sh里面需要设置一个安装用户变量，目的
    是给指定的用户目录路径下解压安装框架
    
    
    一切完毕之后注意配置hadoop的nd，dd，tmp，hadooptmp，hbasetmp的文件夹，有些需要自己创建，完成之后在主的
    机器上，进行格式化，然后启动hadoop集群即可。

解压后的文件如下：  
  
\[img\]http://dl2.iteye.com/upload/attachment/0101/3993/55951667-bda8-3dcd-a248-d73b60c9445d.jpg\[/img\]  
  
\[b\]\[color=olive\]\[size=large\]脚本在最后会打包上传，关于各个安装包，就不上传了，上传的大小有限制，大家可以自己下载对应的版本。\[/size\]\[/color\]\[/b\]