linux安装Hadoop-单机环境

小灰灰 2022-08-07 06:50 270阅读 0赞

如今大数据各种火，看看各种招聘网址，大数据、数据挖掘起薪20W啊，各种诱惑，所以，自己也学学大数据相关。

具体大数据什么，能做什么，发展史等等，我在这里就不描述了，网上一大堆，再说，个人从来不记什么东西发展史什么的，浪费脑细胞。

本文主要是作为个人的学习笔记，如果有不对之处，欢迎指正。

首先肯定是从环境的搭建开始。

## 个人环境配置 ##

### <table>   <tbody>    <tr>     <td>Linux</td>     <td>Centos7</td>    </tr>    <tr>     <td>JDK</td>     <td>jdk7u25</td>    </tr>    <tr>     <td>Hadoop</td>     <td>2.5.2</td>    </tr>   </tbody>  </table> ###

## 安装步骤 ##

### 1：安装SSH ###

使用yum install openssh-server安装ssh服务（Centos7默认已经安装ssh）

### 2：配置ssh免密码登陆 ###

ssh-keygen -t rsa -P ''

使用上面命令后，会在~/home/\{username\}/.ssh/下生成两个加密文件，id\_rsa（私钥）和id\_rsa.pub（公钥）。

然后进入.ssh目录，将id\_rsa.pub中的内容追加到authorized\_keys文件中：cat id\_rsa.pub >> authorized\_keys；

如果是Ubuntu，则此时已经可以使用ssh免密码登陆，如果是centos环境，则需要修改.ssh目录权限和authorized\_keys权限，如下：

chmod 700 .ssh
    chmod 600 authorized_keys

此时，则可以直接使用ssh免密码登陆了：ssh localhost验证结果。

### 3：安装配置JDK ###

jdk的安装配置此处也不在描述，相信搞java的童鞋都能搞定。

### 4：安装Hadoop ###

*  下载Hadoop（可在官方提供的镜像地址下载：http://mirror.bit.edu.cn/apache/hadoop/common/)选择hadoop-2.5.2.tar.gz下载。
 *  将压缩文件解压到某目录下（tar -zxvf hadoop-2.5.2.tar.gz）。
 *  添加Hadoop环境变量（vim /etc/profile，将如下内容添加到文件中）。

export HADOOP_HOME={Hadoop目录}/hadoop-2.5.2
    export HADOOP_COMMON_HOME=$HADOOP_HOME
    export HADOOP_HDFS_HOME=$HADOOP_HOME
    export HADOOP_MAPRED_HOME=$HADOOP_HOME
    export HADOOP_YARN_HOME=$HADOOP_HOME
    export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop
    
    export CLASSPATH=.:$HADOOP_HOME/lib:$CLASSPATH
    export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

保存退出，病执行如下命令试修改生效：

source /etc/profile

*  修改Hadoop配置

进入Hadoop目录下/home/shipg/soft/hadoop/hadoop-2.5.2/etc/hadoop，修改hadoop-env.sh文件中JAVA\_HOME值，如下我的配置：

export JAVA_HOME=/usr/java/jdk1.7.0_75

保存退出

此时，单机版Hadoop环境已经安装完成。

## 5：验证结果 ##

使用Hadoop自带的wordcount来验证安装结果。

首先在Hadoop跟目录下创建input目录（mkdir input），在input目录中随便拷贝一份文件进去，或者自己写些内容到此目录下，此处将README.txt拷贝进input目录。

然后执行如下命令执行单词统计：

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.5.2-sources.jar org.apache.hadoop.examples.WordCount input output