hadoop集群安装教程

野性酷女 2022-06-08 03:24 160阅读 0赞

Hadoop介绍：  
Hadoop是一个由Apache基金会所开发的分布式系统基础架构。  
用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高速运算和存储。

1.  安装三台虚拟设备  
    在里面我建议大家选择性能稳定的合适的linux版本进行安装，一般要进行初级学习的话，暂时三台虚拟机就够学习使用了。
2.  网络ip设置  
    首先，选择虚拟机为net模式，看准当前网关和虚拟机能分配的网段。让三台虚拟机置于当前网段下。这样就能进行通信了。具体操作可以在网上搜索，这里就不在叙述了。
3.  安装jdk并设置 路径  
    首先将自己下载的包放在

/usr/local/src/

这样方便操作，然后解压jdk，

tar zxf jdk-6u45-linux-x64.bin

这时的jdk还不能使用，要使用必须在指定目录下使用，这里提供一种解决方案，当然其他的方式也有。感兴趣的可以在网上搜索。

vim ~/.bashrc //编辑此文件

在他的后面添加以下文件内容

export JAVA_HOME=/usr/local/src/jdk1.6.0_45
    //这是jdk解压包的所在位置
    export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib
    export PATH=$PATH:$JAVA_HOME/bin

然后让更改过后的~/.bashrc文件生效，

source ~/.bashrc

当然三台虚拟机的jdk必须都安装成功。且都是上述同一种方式。

4.安装hadoop集群

首先将hadoop安装包解压，将他放在

/usr/local/src/

此目录下，与jdk的目录一致。以便于更好的管理。

进入该目录下

cd /usr/local/src/hadoop-1.2.1

mkdir tmp //存放临时文件由这个目录管理  
cd conf/ //此文件目录地下进行修改配置文件。

vim masters //更改为当前主机名  
master

vim slaves //修改从节点  
slave1  
slave2

vim core-site.xml //修改此文件

hadoop.tmp.dir  
/usr/local/src/hadoop-1.2.1/tmp  
1 //指定临时目录的地址  
  
  
fs.default.name  
hdfs://192.168.184.10:9000  
//配置NameNode的uri(统一定位符)

vim mapred-site.xml  
修改该文件  
  
  
mapred.job.tracker //指定job.tracker的工作端口  
[http://192.168.184.10:9001][http_192.168.184.10_9001]

vim hdfs-site.xml  
  
  
dfs.replication //数据在hdfs里面的副本数，一般是三个  
3

vim hadoop-env.sh //配置该启动文件

export JAVA\_HOME=/usr/local/src/jdk1.6.0\_45  
将java存放地址设置在该文件中。

vim /etc/hosts  
192.168.184.10 master //配置主节点ip  
192.168.184.11 slave1 //配置从节点ip  
192.168.184.12 slave2 //配置从节点ip

配置此文件之后访问其他主机可以使用主机名访问  
NETWORKING=yes  
HOSTNAME=master ///改动此文件  
NTPSERVERARGS=iburst

使其生效  
hostname master //临时生效

scp -rp hadoop-1.2.1 192.168.184.11:/usr/local/src  
将hadoop解压过后的文件拷贝到另外两个节点上。

在两个从节点上，  
修改 cd /etc/hosts 将主节点上的复制到这里

vim /etc/sysconfig/network 修改该文件hostname=从节点名称

hostname slave1 可以让节点临时名生效

关闭主从节点的防火墙  
/etc/init.d/iptables stop

可能会影响网络传输。

关闭  
setenforce 0

ssh-keygen 生成密钥 直接回车  
每台主机的密钥都要生成  
cd ~/.ssh/  
进入此文件  
将每台主机的三个公钥都复制到  
authorized\_keys //包含三台机器的公钥

再进入cd /usr/local/src/hadoop-1.2.1/bin 目录底下

格式化hadoop  
./hadoop namenode -formate //格式化  
./start-all.sh 启动hadoop集群  
jps 查看当前状态

简单使用hadoop  
./hadoop fs -ls / //查看当前环境

./hadoop fs -put /etc/passwd / //简单上传passwd文件

./hadoop fs -ls /

./hadoop fs -cat /passwd  
查看内容

至此，hadoop有没有get到，哈哈哈

[http_192.168.184.10_9001]: http://192.168.184.10:9001

发表评论取消回复

表情：

评论列表（有 0 条评论，160人围观）

还没有评论，来说两句吧...

相关阅读

相关 Hadoop集群配置安装

装包资料链接: https://pan.baidu.com/s/1YFbBJNesfhl0eBZ9B3pwKw 提取码: rmba 安装准备 \[root@tan...

蔚落/ 2024年04月18日 07:13/ 0 赞/ 17 阅读

相关 Hadoop集群搭建教程

1、准备工作：由于hadoop是基于java的，所以需要预先安装jdk，安装jdk的教程可参考这篇：[https://blog.csdn.net/qq\_3456667

短命女/ 2022年11月28日 13:33/ 0 赞/ 110 阅读

相关 hadoop2.7集群安装教程（转）

感谢前辈的文章，我少走了很多弯路我自己用的是虚拟机，装了2个ubuntu14.04 ,使用hadoop2.7.3 按照文章一步步进行，完全没问题，作者写的很细，许多命令其实

ゞ浴缸里的玫瑰/ 2022年09月26日 13:00/ 0 赞/ 147 阅读

相关 Hadoop集群安装配置

1、集群部署介绍 1.1 Hadoop简介 ![201205161427003307.png][]　　Hadoop是Apache软件基金会旗下的一个开源分布式计算平

落日映苍穹つ/ 2022年09月17日 05:28/ 0 赞/ 346 阅读

相关 hadoop集群安装教程

Hadoop介绍： Hadoop是一个由Apache基金会所开发的分布式系统基础架构。用户可以在不了解分布式底层细节的情况下，开发分布式程序。充分利用集群的威力进行高

野性酷女/ 2022年06月08日 03:24/ 0 赞/ 161 阅读

相关 docker安装hadoop集群

前置条件：首先确保系统已经正确安装docker 验证： sudo docker version or sudo docker -v 启动doc

灰太狼/ 2022年05月27日 03:54/ 0 赞/ 246 阅读

相关 hadoop_安装_伪集群

1. 装一台新虚拟机 1) 机器准备安装centos7 ip：192.168.75.108；密码：root123； 2) 修改hosts Vi /etc/

谁践踏了优雅/ 2022年05月25日 06:17/ 0 赞/ 215 阅读

相关 Hadoop安装(YARN 集群)

前言在前面的章节中, 我们介绍了[Hadoop 安装(单结点)][Hadoop]. 本章中,我们介绍下`Hadoop的集群安装模式`. ---------------

红太狼/ 2022年02月28日 14:22/ 0 赞/ 313 阅读

相关安装Hadoop HA集群

1、Hadoop基本安装配置该项的所有操作步骤使用专门用于集群的用户admin进行此项只在一台主机操作，然后在下一步骤进行同步安装与配置首先，Hadoop软

曾经终败给现在/ 2022年02月03日 03:59/ 0 赞/ 231 阅读

相关安装hadoop集群--hdfs

安装hadoop集群--hdfs 准备一台干净的虚拟机 \[root@hdp-01 ~\]\ vi /etc/sysconfig/network-scripts/ifc

╰半橙微兮°/ 2021年11月29日 12:44/ 0 赞/ 314 阅读