伪分布式安装jdk1.7+hadoop2.5.0cdh+flume+nginx

妖狐艹你老母 2022-05-26 01:17 88阅读 0赞

SSH免密

首先关闭防火墙，必须得两个一起关闭

centOS 6.5关闭防火墙步骤

关闭命令（暂时）：  service iptables stop   
        永久关闭防火墙：chkconfig iptables off

两个命令同时运行，运行完成后查看防火墙关闭状态   
        service iptables status

1. 检测ssh是否安装

Rpm -qa | grep ssh

若没安装 执行ssh命令：yum install openssh-clients

yum install openssh-service

2. 创建一个hadoop的用户

useradd -m hadoop -s  /bin/bash

3. 配置SSH无密码登录

Ssh localhost

3.1： cd  ~/.ssh/

（如果没有这个目录。先执行ssh localhost，再执行cd  ~/.ssh/）

3.2：ssh-keygen -t dsa  (创建)

3.3：cat id\_dsa.pub >> authorized\_keys   加入授权

3.4：chmod 700 ./ authorized\_keys 修改权限

3.5：vi /etc/ssh/sshd\_config   取消三个变量的注释

![70][]

3.6：重启sshd服务 service sshd restart

3.7：ssh localhost  没有提示输入密码就是成功

安装java环境变量：

一般centos默认安装java。默认安装JRE 不是JDK

第一步：

yum install java-1.7.0-openjdk java-1.7.0-openjdk-devel

![70 1][]

![70 2][]

默认安装目录：/usr/lib/jvm/java-1.7.0-openjdk

执行：rpm -ql java-1.7.0-openjdk-devel | grep /bin/javac

Java -version 命令查看JDK是否安装成功

![70 3][]

保证java和javac命令全局都能使用：

vi /etc/profile （在x-shell中查看 这样可以粘贴）

![70 4][]

在profile最后面加入以下语句，设置JAVA\_HOME

export JAVA\_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86\_64

export PATH=$JAVA\_HOME/bin:$PATH

export CLASSPATH=.:$JAVA\_HOME/lib/dt.jar:$JAVA\_HOME/lib/tools.jar

（以上三行 直接粘贴复制）

![70 5][]

Source /etc/profile  修改的Javahome变量生效

Echo $JAVA\_HOME （显示安装路径就证明成功了）

hadoop单机模式安装

1. 通过工具把hadoop安装包和mds文件发送到服务器。在Xshell(先下载 lrzsz 这个拉文件所需的工具) 中先切换到

root   /home/hadoop目录下 再把两个直接拉进hadoop下

![70 6][]

输入：cat hadoop-2.6.0.tar.gz.mds | grep 'MD5'

md5sum hadoop-2.6.0.tar.gz | tr "A-Z" "a-z"

![70 7][]

2. 验证tar包的完整性

![70 8][]

3. 切换到root用户，进入到/home/hadoop目录下。解压安装安装包到/usr/local/hadoop

执行命令：

解压安装命令完成之后会在/usr/local自动生成一个hadoop2.6.0的文件。

解压成功最后几行（解压太多 刷屏了）

![70 9][]

然后修改权限：

mv hadoop-2.6.0/ hadoop/   更改文件名称

chown -R hadoop:hadoop ./hadoop   修改权限

![70 10][]

查看hadoop是否安装成功:进入到/usr/local/hadoop/bin  执行./hadoop version

![70 11][]

例子测试： 进入hadoop:  cd /usr/local/hadoop

创建input :    mkdir ./input

cp ./etc/hadoop/\*.xml  ./input

把配置文件复制到input目录下

再进入：vi    /etc/hosts

![70 12][]

![70 13][]

![70 14][]

./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-\*.jar grep ./input ./output 'dfs\[a-z\]+'

这是一行  不要分开写 直接粘贴复制

进入：cd output

![70 15][]

cat part-r-00000

使用source ~/.bashrc 命令使配置生效（输入之后没有反应 说明成功了）

![70 16][]

hadoop2.5.0  CDH  伪分布安装配置文件  
  
配置hadoop  
               cd /usr/local/hadoop/etc/hadoop  
  
第一个：hadoop-env.sh  
vim hadoop-env.sh  
\#第27行  
export JAVA\_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86\_64  
  
第二个：core-site.xml  
  
<property>  
<name>fs.defaultFS</name>  
<value>hdfs://主机名:9000</value>  
</property>  
  
<property>  
<name>hadoop.tmp.dir</name>  
<value>file:/usr/local/hadoop/tmp</value>  
                </property>  
  
  
第三个：hdfs-site.xml  
<configuration>  
                <property>  
                        <name>dfs.replication</name>  
                        <value>1</value>  
                </property>  
                <property>  
                        <name>dfs.permissions.enabled</name>  
                        <value>false</value>  
                </property>  
                <property>  
                        <name>dfs.namenode.secondary.http-address</name>  
                        <value>admin:50090</value>  
                </property>  
                <property>  
                         <name>dfs.namenode.http-address</name>  
                         <value>admin:50070</value>  
                </property>  
                <property>  
                         <name>dfs.datanode.data.dir</name>  
                         <value>file:/usr/local/hadoop/tmp/dfs/data</value>  
                </property>  
                <property>  
                        <name>dfs.namenode.name.dir</name>  
                        <value>file:/usr/local/hadoop/tmp/dfs/nn/name</value>  
                </property>  
                <property>  
                        <name>dfs.namenode.edits.dir</name>  
                        <value>file:/usr/local/hadoop/tmp/dfs/nn/edits</value>  
                </property>  
                <property>  
                        <name>dfs.namenode.checkpoint.dir</name>  
                        <value>file:/usr/local/hadoop/tmp/dfs/snn/name</value>  
                </property>  
                <property>  
                        <name>dfs.namenode.checkpoint.edits.dir</name>  
                        <value>file:/usr/local/hadoop/tmp/dfs/snn/edits</value>  
                </property>  
  
</configuration>  
  
  
第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)  
mv mapred-site.xml.template mapred-site.xml  
vim mapred-site.xml  
<configuration>  
                <property>  
                        <name>mapreduce.framework.name</name>  
                        <value>yarn</value>  
                </property>  
                <property>  
                        <name>mapreduce.jobhistory.webapp.address</name>  
                        <value>hadoop-yarn.admin:19888</value>  
                </property>  
                <property>  
                         <name>mapreduce.jobhistory.address</name>  
                         <value>hadoop-yarn.admin:10020</value>  
                </property>  
                <property>  
                          <name>mapreduce.job.ubertask.enable</name>  
                          <value>true</value>  
                </property>  
</configuration>  
  
第五个：yarn-site.xml  
<configuration>  
  
  
                <property>  
                        <name>yarn.resourcemanager.hostname</name>  
                        <value>admin</value>  
                </property>  
                  
                <property>  
                        <name>yarn.nodemanager.aux-services</name>  
                        <value>mapreduce\_shuffle</value>  
                </property>  
                 
                 <property>  
                        <name>yarn.log-aggregation-enable</name>  
                        <value>true</value>  
                </property>  
                 
                 <property>  
                        <name>yarn.log-aggregation.retain-seconds</name>  
                        <value>604800</value>  
                </property>  
</configuration>  
  
   第六个  yarn-env.sh  
               export HADOOP\_YARN\_PID\_DIR=/usr/local/hadoop/tmp  
   第七个  hadoop-env.sh

export HADOOP\_PID\_DIR=/usr/local/hadoop/tmp

再进入：vim /etc/profile

(把下面三条复制上)

export JAVA\_HOME=/usr/lib/jvm/java-1.7.0-openjdk.x86\_64

export HADOOP\_HOME=/usr/local/hadoop

export PATH=$PATH:$JAVA\_HOME/bin:$HADOOP\_HOME/bin:$HADOOP\_HOME/sbin

再执行：source /etc/profile

3.3格式化namenode（是对namenode进行初始化）

hdfs namenode  -format  (hadoop namenode  -format)

![70 17][]

3.4启动hadoop

先启动HDFS

sbin/start-dfs.sh

再启动YARN

sbin/start-yarn.sh

（执行：start-all.sh(新版的是start-dfs.sh  start-yarn.sh 关闭是 :stop-all.sh)

最后执行：jps）

3.5验证是否启动成功

使用jps命令验证

27408 NameNode

28218 Jps

27643 SecondaryNameNode

28066 NodeManager

27803 ResourceManager

27512 DataNode

![70 18][]

http://192.168.8.118:50070 （HDFS管理界面）

http://192.168.8.118:8088 （MR管理界面）

![70 19][]

![70 20][]

![70 21][]

![70 22][]

统计文件中的单词个数。。

hadoop jar hadoop-mapreduce-examples-2.6.0.jar wordcount hdfs://aa:9000/ff hdfs://aa:9000/tt

![70 23][]

安装nginx

![70 24][]

![70 25][]

![70 26][]

安装好以后在任意路径启动

![70 27][]

nginx自动安装在/etc/下

![70 28][]

记得在C盘下写映射  之后在网页直接输主机名加 /

![70 29][]

安装flume

直接进行解压就OK

后续接着写

[70]: /images/20220526/263822b600214bef8b48e194703c4a2e.png
[70 1]: /images/20220526/1be00b772ed047a089906df8d257066f.png
[70 2]: /images/20220526/70d31bdcb54945ecaf065c317942e246.png
[70 3]: /images/20220526/442d4762029d42c0828ac2ae070e98af.png
[70 4]: /images/20220526/d1b0c9f8b6144c6b980e939589d817e0.png
[70 5]: /images/20220526/c8627e65f5374c44b65efa3caf31a6a8.png
[70 6]: /images/20220526/24c977526904403e8f719b37be85d388.png
[70 7]: /images/20220526/8723aab727094f518236cae481331b10.png
[70 8]: /images/20220526/1bb9c7eda3be4eb495755f82c8d8b287.png
[70 9]: /images/20220526/b00f5f8740c545638a252601393d4948.png
[70 10]: /images/20220526/7e6dd08038f248cd9b34b231f0b71312.png
[70 11]: /images/20220526/60b13b3daf74457688c915028d8c9543.png
[70 12]: /images/20220526/ef49f4758048484da447cb93dae4f0c5.png
[70 13]: /images/20220526/9aab5eb10a804e8aa593c9b885a6c837.png
[70 14]: /images/20220526/98c8cf38660a427c826f5bc405d7f1e9.png
[70 15]: /images/20220526/b0b9e6fc086447a28fe98b89ebb0b861.png
[70 16]: /images/20220526/95d660e79ebc4592a54d2c1e2504b195.png
[70 17]: /images/20220526/e405b3c753a54c4dab9f383abdaece75.png
[70 18]: /images/20220526/5e4281db2951407387bf0c837f17907f.png
[70 19]: /images/20220526/473a312abf4a4a5b884db8697372a265.png
[70 20]: /images/20220526/e6a8b22616554b60b9845baa6f6c0c63.png
[70 21]: /images/20220526/c9d599e8adc44c3193b75ae45325f6cf.png
[70 22]: /images/20220526/0a4eced05a534a5cbf3d0313d2e78bdb.png
[70 23]: /images/20220526/cf6bd2a6b2514ba1835210bbe5efde86.png
[70 24]: /images/20220526/4446a67432864f18b6b4864e4be17e82.png
[70 25]: /images/20220526/f04b807299224af4bb9a3ca302bc1afb.png
[70 26]: /images/20220526/344f46b4ee58432aa0d21e9d2f0dbff1.png
[70 27]: /images/20220526/ed90b8dc68724657b87b31df8c12878f.png
[70 28]: /images/20220526/a71b5334d5d340b882d9324e1fa4f277.png
[70 29]: /images/20220526/32a384a05f6749688f3fb08dc5913ab6.png