hadoop 集群安装
单机hadoop
集群部署，在单机版基础上进行的,我们需要配置4个机器master,node1,node2,node3
hadoop单机部署 教程 步骤
配置IP
安装完后，需要给4台服务器配置固定IP
教程:VirtualBox最小安装cetnos7后配置固定IP
然后要修改主机名和dns
# 4个依次为master node1 node2 node3vim /etc/hostnamemastervim /etc/hosts127.0.0.1 localhost localhost.localdomain localhost4 localhost4.localdomain4::1 localhost localhost.localdomain localhost6 localhost6.localdomain6192.168.56.201 master192.168.56.202 node1192.168.56.203 node2192.168.56.204 node3
免密登录
修改完成后，需要配置ssh免登陆
ssh免密登录教程
# 生成秘钥ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa将 id_dsa id_dsa.pub 两个文件复制到 master node1 node2 node3主机上复制地址 ~/.ssh/ 这个文件夹下然后都执行此操作cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
基本配置验证
ssh masterssh node1ssh node2ssh node3
配置集群
vim /usr/local/hadoop/etc/hadoop/core-site.xml修改 master:9000<configuration><property><name>fs.default.name</name><value>hdfs://master:9000</value></property></configurationvim /usr/local/hadoop/etc/hadoop/yarn-site.xml新增<property><name>yarn.resourcemanager.resource-tracker.address</name><value>master:8025</value></property><property><name>yarn.resourcemanager.scheduler.address</name><value>master:8030</value></property><property><name>yarn.resourcemanager.address</name><value>master:8050</value></property>解释:resourcemanager 与 nodemanager 连接地址 8025resourcemanager 与 applicationmaster 连接地址 8030resourcemanager 与 客户端连接地址 8050vim /usr/local/hadoop/etc/hadoop/mapred-site.xml修改为<property><name>mapred.job.tracker</name><value>master:54311</value></property># 除了master是namenode，其它都是datanodevim /usr/local/hadoop/etc/hadoop/hdfs-site.xml<property><name>dfs.replication</name><value>3</value></property><property><name>dfs.namenode.name.dir</name><value>file:/usr/local/hadoop/hadoop_data/hdfs/datanode</value></property>
master 编辑slaves
vim /usr/local/hadoop/etc/hadoop/slavesnode1node2node3
node1 node2 node3操作
rm -rf /usr/local/hadoop/hadoop_data/hdfsmkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode# root 可省略给权限的步骤# sudo chown -R hduser:hduser /usr/local/hadoop
master操作
rm -rf /usr/local/hadoop/hadoop_data/hdfsmkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenodesudo chown -R hduser:hduser /usr/local/hadoop
master 启动集群
# 格式化hdfshadoop namenode -format# 启动start-dfs.sh 和 start-YARN.sh或start-all.sh
网页访问验证
# http://master:8088/http://192.168.56.201:8088http://192.168.56.201:50070
集群停止
stop-all.sh
左手的ㄟ右手
朱雀
秒速五厘米
野性酷女
灰太狼
红太狼
还没有评论，来说两句吧...