Hadoop入门（Hadoop2.7.2源码编译与伪分布安装）

￡神魔★判官ぃ 2022-09-28 14:23 116阅读 0赞

##  Hadoop概述— Hadoop简介  •什么是Hadoop 一个开源、高可靠、可扩展 的分布式计算框架• 解决的问题 海量数据的存储（HDFS） 海量数据的分析（MapReduce） 分布式资源调度（Yarn）• 产生背景 受Google三篇论文的启发(GFS、MapReduce、BigTable)• 扩容能力 能可靠地存储和处理千兆字节（PB）数据。• 成本低 可以通过普通机器组成的服务器群来分发以及处理数据。这些服务器群总计可达数千个节点。• 高效率 通过分发数据，Hadoop可以在数据所在的节点上并行地处理它们，这使得处理非常的快速。• 可靠性 Hadoop能自动维护数据的多份副本，并且在任务失败后能自动重新部署。      ##

## Hadoop概述— Hadoop生态圈    ##

![Center][]![Center 1][]![Center 2][]

## Hadoop概述— Hadoop核心    ##

• Hadoop项目主要包括以下四个模块• Hadoop Common:  为其他Hadoop模块提供基础设施。• Hadoop HDFS:   一个高可靠、高吞吐量的分布式文件系统• Hadoop MapReduce:  一个分布式的离线并行计算框架•Hadoop YARN:  一个新的MapReduce框架，任务调度与资源管理

## 分布式离线计算框架 —- MapReduce    ##

• Map任务处理

① 读取输入文件内容，解析成key、value对

② 重写map方法，编写业务逻辑输出新的key、value对

③ 对输出的key、value进行分区。（Partitioner类）

④对数据按照key进行排序、分组。相同key的value放到一个集合中。

• Reduce任务处理

①对多个map任务的输出，按照不同的分区，通过网络copy到不同的reduce节点。

②对多个map任务的输出进行合并、排序。写reduce函数自己的逻辑，对输入的key、value处理，转换成新的key、value输出。

③把reduce的输出保存到文件中。

## Hadoop前置环境安装 — Linux环境准备    ##

•关闭防火墙（chkconfig iptables off）•禁用SELinux (cd /etc/sysconfig/selinux  设置SELINUX=disable)•修改ip•修改hostname ( vi /etc/sysconfig/network 设置hostname=m1)•ip和主机名的对应(vi /etc/hosts  插入一行：192.168.0.102   m1)•设置ssh自动登录      ssh配置：       1.生成秘钥：ssh-keygen -t rsa       2.ssh-copy-id 192.168.0.102       3.测试：ssh 192.168.0.102

## Haoop前置环境安装 — 安装JDK     ##

## •下载解压http://download.oracle.com/otn-pub/java/jdk/7u80-b15/jdk-7u80-linux-x64.tar.gz•将java添加到环境变量中 vim /etc/profile \#在文件最后添加 export JAVA\_HOME /usr/local/program/jdk1.7.0\_55 export PATH=$PATH:$JAVA\_HOME/bin•刷新配置source /etc/profile      ##

## Hadoop前置环境安装– lrzsz命令    ##

• 安装linux上传下载命令：yum install –y lrzsz• 注：如果出现错误Error: Cannot find a valid baseurl for repo: base执行如下操作：vi /etc/resolv.conf在此文件最后加入：nameserver  8.8.8.8安装成功后：执行 rz 命令即可

## Hadoop伪分布式安装 — Hadoop运行模式    ##

• 本地模式 所有Hadoop的守护进程运行在一个JVM中• 伪分布式 所有Hadoop的守护进程各自运行在自己的JVM中（一台机器）• 集群模式 多台机器来搭建分布式集群，每个进程运行在独立的JVM中，并对 Namenode和ResourceManager做Ha配置

## 编译hadoop2.7.2源码    ##

1.上传所需文件 *Maven 3.0 or later* Findbugs 1.3.9 (if running findbugs)* ProtocolBuffer 2.5.02.解压maven和findbugs，并配置环境变量3.编译protocolbuffer•安装make命令以及一些其他的依赖• 输入命令： yum -y install autoconf automake libtool cmake ncurses-devel openssl-devel lzo-devel zlib-devel gcc gcc-c++ 4.输入命令configure5.Make install6.cd hadoop-2.7.2-src 执行命令：mvn package -Pdist,native,docs -DskipTests –Dtar7.编译需要30min左右

## Hadoop伪分布式配置安装文档    ##

根据官网文档安装：

[http://][http][hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html][http]

注意点：

1.core-site.xml中添加配置，修改临时目录：

hadoop.tmp.dir = /usr/local/program/hadoop-2.7.2/data/tmp

[Center]: https://img-blog.csdn.net/20170312193455390?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvend4MTk5MjEyMTU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 1]: https://img-blog.csdn.net/20170312193506281?watermark/2/text/aHR0cDovL2Jsb2cuY3Nkbi5uZXQvend4MTk5MjEyMTU=/font/5a6L5L2T/fontsize/400/fill/I0JBQkFCMA==/dissolve/70/gravity/Center
[Center 2]: /images/20220708/d5ccf5723ba0444da545652902df282f.png
[http]: http://hadoop.apache.org/docs/r2.7.2/hadoop-project-dist/hadoop-common/SingleCluster.html