Hadoop2 伪分布式部署

阳光穿透心脏的1/2处 2022-08-06 03:28 278阅读 0赞

一.简介

二.安装部署

三.运行hadoop例子并测试部署环境

四.注意的地方

一．简介

Hadoop是一个由Apache基金会所开发的分布式系统基础架构，Hadoop的框架最核心的设计就是：HDFS和MapReduce。HDFS为海量的数据提供了存储，HDFS有高容错性的特点，并且设计用来部署在低廉的（low-cost）硬件上；而且它提供高吞吐量（high throughput）来访问应用程序的数据，适合那些有着超大数据集（large data set）的应用程序。HDFS放宽了（relax）POSIX的要求，可以以流的形式访问（streaming access）文件系统中的数据，则MapReduce为海量的数据提供了计算。Hadoop 容易开发和运行处理大规模数据的平台。

  1. HDFS是Java语言开发，因此任何支持Java的机器都可以部署Namenode或Datanode，HDFS采用master/slave架构，一个HDFS集群是由一个Namenode和一定数目的Datanodes组成。Namenode是一个中心服务器，负责管理文件系统的名字空间(namespace)以及客户端对文件的访问。集群中的Datanode一般是一个节点一个，负责管理它所在节点上的存储。HDFS暴露了文件系统的名字空间，用户能够以文件的形式在上面存储数据。从内部看，一个文件其实被分成一个或多个数据块，这些块存储在一组Datanode上。Namenode执行文件系统的名字空间操作，比如打开、关闭、重命名文件或目录。它也负责确定数据块到具体Datanode节点的映射。Datanode负责处理文件系统客户端的读写请求。在Namenode的统一调度下进行数据块的创建、删除和复制。如图所示所示：

Center

  1.  Hadoop Map/Reduce是一个使用简易的软件框架，基于它写出来的应用程序能够运行在由上千个商用机器组成的大型集群上，并以一种可靠容错的方式并行处理上T级别的数据集。一个Map/Reduce 作业（job） 通常会把输入的数据集切分为若干独立的数据块，由 map任务（task）以完全并行的方式处理它们。框架会对map的输出先进行排序， 然后把结果输入给reduce任务。通常作业的输入和输出都会被存储在文件系统中。 整个框架负责任务的调度和监控，以及重新执行已经失败的任务。

Hadoop是一个能够让用户轻松架构和使用的分布式计算平台。用户可以轻松地在Hadoop上开发和运行处理海量数据的应用程序。它主要有以下几个优点：

1.高可靠性。Hadoop按位存储和处理数据的能力值得人们信赖。

2.高扩展性。Hadoop是在可用的计算机集簇间分配数据并完成计算任务的，这些集簇可以方便地扩展到数以千计的节点中。

3.高效性。Hadoop能够在节点之间动态地移动数据，并保证各个节点的动态平衡，因此处理速度非常快。

4.高容错性。Hadoop能够自动保存数据的多个副本，并且能够自动将失败的任务重新分配。

5.低成本。与一体机、商用数据仓库以及QlikView、Yonghong Z-Suite等数据集市相比，hadoop是开源的，项目的软件成本因此会大大降低。

Hadoop 伪分布式模式是在单机上模拟 Hadoop 分布式，条件有限，所以linux虚拟机上部署Hadoop 伪分布式模式来模拟 Hadoop 分布式。

二．安装部署

Linux虚拟机上JDK安装配置，这里就不介绍，我之前文章有介绍过了。

第一步：ssh无密码验证配置

1.查看一下SSH是否有安装

  1.   ![Center 1][]

2.基于空口令创建一个新的SSH密钥，启用无密码登录
#ssh-keygen -t rsa -P ‘’ -f~/.ssh/id_rsa
#cat ~/.ssh/id_rsa.pub >>~/.ssh/authorized_keys

3.测试一下是否需要密码登陆

  1.   \#ssh localhost   如图所示：
  3.  ![Center 2][]
  7. 这说明已经安装成功，第一次登录时会询问你是否继续链接，输入yes即可进入。

说明：

因为在Hadoop的安装过程中，如果不配置无密码登录，每次启动Hadoop，需要输入密码登陆到DataNode，我们通常会做集群，所以这样就不方便我们操作。

第二步：部署hadoop

  1.  1.下载 http://hadoop.apache.org/
  3.   我们这边下载的是hadoop-2.6.0.tar.gz
  5. 2.mkdir /usr/local/hadoop
  7. 3.\#tar -zxvf hadoop-2.6.0.tar.gz//解压
  9. 4.\#vi  /etc/profile  //配置hadoop
  11.   export HADOOP\_HOME=/usr/local/hadoop/hadoop-2.6.0
  13.   export PATH=$HADOOP\_HOME/bin:$PATH 
  15.   export HADOOP\_LOG\_DIR=$\{HADOOP\_HOME\}/logs 
  17. \#source/etc/profile //使配置生效

5.配置core-site.xml,hdfs-site.xml及mapred-site.xml

  1. \#cd hadoop-2.6.0//进入hadoop解压的目录
  3. etc/hadoop/core-site.xml
  4. <configuration>
  5.     <property>
  6.         <name>fs.default.name</name>
  7.         <value>hdfs://192.168.74.129:9000</value>
  8. </property>
  9.   <property>  
  10.         <name>hadoop.tmp.dir</name>  
  11.         <value>/usr/local/hadoop/hadoop-2.6.0/tmp</value>     
  12.     </property> 
  13. </configuration>
  15. etc/hadoop/hdfs-site.xml
  17.  <configuration>
  18.       <property>   
  19.         <name>dfs.name.dir</name>   
  20.         <value>/usr/local/hadoop/hadoop-2.6.0/hdfs/name</value>   
  21.     <description>对namenode存储路径</description>   
  22.       </property>   
  24.     <property>   
  25.         <name>dfs.data.dir</name>   
  26.         <value>/usr/local/hadoop/hadoop-2.6.0/hdfs/data</value>   
  27.     <description>对datanode存储路径</description> 
  28.     </property>   
  30.     <property>
  31.         <name>dfs.replication</name>
  32.         <value>1</value>
  33.     </property>
  34. </configuration>
  36. etc/hadoop/mapred-site.xml
  38. <configuration>
  39.     <property>
  40.         <name>mapred.job.tracker</name>
  41.         <value>hdfs://192.168.74.129:9001</value>
  42. </property>
  43.  <property>   
  44.         <name>mapred.local.dir</name>   
  45.         <value>/usr/local/hadoop/hadoop-2.6.0/mapred/local</value> 
  46.          <description>存储mapred自己使用的路径</description>   
  47.     </property>   
  49.     <property>   
  50.         <name>mapred.system.dir</name>   
  51.         <value>/usr/local/hadoop/hadoop-2.6.0/mapred/system</value>   
  52.         <description>存储mapred系统级别的路径，可以共享</description>   
  53.     </property>   
  54. </configuration>

6.修改 hadoop-env.sh的jdk路径

  1.   \#vi  etc/hadoop/hadoop-env.sh
  3. export JAVA\_HOME=/usr/java/jdk1.7.0\_67

7.#hadoop namenode -format //格式化HDFS文件系统以创建一个空大文件系统。

  1. 执行成功如图所示：
  3. ![Center 3][]

生成core-site.xml,hdfs-site.xml及mapred-site.xml对应的目录，如图所示：

Center 4

第三步：启动hadoop服务

1.#sbin/start-all.sh //启动 sbin/stop-all.sh //关闭

  1.  ![Center 5][]

2.#jps//验证一下

  1. ![Center 6][]

3.在浏览器查看hadoop信息

  1.   http://192.168.74.129:50070

Center 7

http://192.168.74.129:8088 hadoop管理页面

  1. ![Center 8][]

4.可以在 cd /usr/local/hadoop/hadoop-2.6.0/logs 查看日志

  1.   ![Center 9][]

三．运行hadoop例子并测试部署环境

1.我们从官方网的例子来运行一下，看看我们部署的hadoop环境是否正确，统计数代码如下：

  1. import java.io.IOException;
  2. import java.util.StringTokenizer;
  4. import org.apache.hadoop.conf.Configuration;
  5. import org.apache.hadoop.fs.Path;
  6. import org.apache.hadoop.io.IntWritable;
  7. import org.apache.hadoop.io.Text;
  8. import org.apache.hadoop.mapreduce.Job;
  9. import org.apache.hadoop.mapreduce.Mapper;
  10. import org.apache.hadoop.mapreduce.Reducer;
  11. import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
  12. import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
  14. public class WordCount {
  16.   public static class TokenizerMapper
  17.        extends Mapper<Object, Text, Text, IntWritable>{
  19.     private final static IntWritable one = new IntWritable(1);
  20.     private Text word = new Text();
  22.     public void map(Object key, Text value, Context context
  23.                     ) throws IOException, InterruptedException {
  24.       StringTokenizer itr = new StringTokenizer(value.toString());
  25.       while (itr.hasMoreTokens()) {
  26.         word.set(itr.nextToken());
  27.         context.write(word, one);
  28.       }
  29.     }
  30.   }
  32.   public static class IntSumReducer
  33.        extends Reducer<Text,IntWritable,Text,IntWritable> {
  34.     private IntWritable result = new IntWritable();
  36.     public void reduce(Text key, Iterable<IntWritable> values,
  37.                        Context context
  38.                        ) throws IOException, InterruptedException {
  39.       int sum = 0;
  40.       for (IntWritable val : values) {
  41.         sum += val.get();
  42.       }
  43.       result.set(sum);
  44.       context.write(key, result);
  45.     }
  46.   }
  48.   public static void main(String[] args) throws Exception {
  49.     Configuration conf = new Configuration();
  50.     Job job = Job.getInstance(conf, "word count");
  51.     job.setJarByClass(WordCount.class);
  52.     job.setMapperClass(TokenizerMapper.class);
  53.     job.setCombinerClass(IntSumReducer.class);
  54.     job.setReducerClass(IntSumReducer.class);
  55.     job.setOutputKeyClass(Text.class);
  56.     job.setOutputValueClass(IntWritable.class);
  57.     FileInputFormat.addInputPath(job, new Path(args[0]));
  58.     FileOutputFormat.setOutputPath(job, new Path(args[1]));
  59.     System.exit(job.waitForCompletion(true) ? 0 : 1);
  60.   }
  61. }

上传到hadoop解压的目录，如图所示：

  1. ![Center 10][]

2.查看有没有目录

  1.  \#hadoop fs –ls  //刚部署完，我们还没创建目录，所以会显示没目录如图所示：
  3.  ![Center 11][]

3.我们新建一个file0.txt文本，输入内容，也就是我们要统计的单词，如图所示：

  1.  ![Center 12][]

4.创建输入和输出目录

先在hdfs上建个文件夹

#bin/hdfs dfs -mkdir –p /user/root/input

#bin/hdfs dfs -mkdir -p /user/root/output

5.把要统计的文本上传到hdfs的输入目录下

# bin/hdfs dfs -put/usr/local/hadoop/hadoop-2.6.0/test/* /user/root/input //把tes/file0文件上传到hdfs的/user/root/input中

6.查看

#bin/hdfs dfs -cat /user/root/input/file0

Center 13

7.编译我们刚才写的统计Java类WordCount.java

#bin/hadoop com.sun.tools.javac.Main WordCount.java

  1.  ![Center 14][]

8.编译好的WordCount.class创建一个 jar

  1. jar cf wc.jar WordCount\*.class

Center 15

9.执行统计

#bin/hadoop jar wc.jar WordCount /user/root/input/user/root/output/count

Center 16

10.查看输出output

#bin/hdfs dfs -cat/user/root/output/count/part-r-00000

  1.  ![Center 17][]

四.注意的地方

  1.    1.\#hadoop namenode -format格式化时，HostName配置不对时，会报这个错误，如图所示：
  3.      ![Center 18][]
  7.      分析：
  9.         \#hsotname 
  11.         ![Center 19][]
  13.       这时在/etc/hosts文件中找不到对应的这个hostname
  15.         ![Center 20][]
  17.  解决方法：  
  20.    1）vi /etc/hosts //修改设置的ip
  22.          ![Center 21][]
  26.    2）\#vi /etc/sysconfig/network  //修改hostname
  28.          ![Center 22][]
  30.   3)/etc/rc.d/init.d/network restart //重启一下
  32.    如果没修改过来，就重启一下Linux虚拟机

2.#hadoop fs –ls会出现

Java HotSpot(TM) Server VM warning: Youhave loaded library/usr/local/hadoop/hadoop-2.6.0/lib/native/libhadoop.so.1.0.0 which might havedisabled stack guard. The VM will try to fix the stack guard now.

It’s highly recommended that you fix thelibrary with ‘execstack -c ‘, or link it with ‘-z noexecstack’.

  1. ![Center 23][]
  6. 解决：
  8.   \#vi /etc/profile  
  10. export HADOOP\_COMMON\_LIB\_NATIVE\_DIR=$HADOOP\_HOME/lib/native  
  11.  export HADOOP\_OPTS="-Djava.library.path=$HADOOP\_HOME/lib"

#source /etc/profile

在执行一下hadoop fs –ls就不会出现这样的问题，如图所示：

  1. ![Center 24][]

发表评论

表情：
评论列表 （有 0 条评论，278人围观）

还没有评论，来说两句吧...

相关阅读

    相关 Hadoop部署伪分布式

    伪分布式模式也是只需要一台机器，但是与本地模式的不同，伪分布式使用的是分布式的思想，具有完整的分布式文件存储和分布式计算的思想。只不过在进行存储和计算的时候涉及到的相关的守护进

    朱雀朱雀/ 0 赞/ 144 阅读

    相关 Centos7伪分布式部署Hadoop

    前期准备 本教程基于vmware中创建的Centos7虚拟机环境进行教学。vmware中创建虚拟机与安装Centos7系统的步骤这里就不再赘述了，直接从系统安装完成后进行

    傷城~傷城~/ 0 赞/ 300 阅读