Solr 简介

Bertha 。 2022-03-17 01:54 217阅读 0赞

## Hadoop-基础配置+单节点 ##

1、安装JDK：

2、创建hadoop用户及用户组：  
useradd hadoop

3、使用hadoop账户：  
su hadoop

4、解压到指定目录：  
sudo tar -zxvf /opt/hjyang/tmp/hadoop-3.1.0.tar.gz -C /opt/hjyang/soft/

5、设置软连接：  
sudo ln -s /opt/hjyang/soft/hadoop-3.1.0/ /opt/hjyang/soft/hadoop

6、用户用户组修改（软件目录及logs目录）：  
sudo chown -R hadoop:hadoop /opt/hjyang/soft/hadoop\*

7、目录权限修改（软件目录及logs目录）：  
sudo chmod -R 755 /opt/hjyang/soft/hadoop\*

单机安装  
8、a-修改"core-site.xml"：  
mkdir /opt/hjyang/soft/hadoop/tmp  
vim /opt/hjyang/soft/hadoop/etc/hadoop/core-site.xml

fs.defaultFS hdfs://192.168.41.5:9000 io.file.buffer.size 131072 hadoop.tmp.dir file:/opt/hjyang/soft/hadoop/tmp

9、b-修改"hdfs-site.xml"：  
mkdir -p /opt/hjyang/soft/hadoop/dsf/name  
mkdir -p /opt/hjyang/soft/hadoop/dsf/data  
vim /opt/hjyang/soft/hadoop/etc/hadoop/hdfs-site.xml

dfs.namenode.secondary.http-address 192.168.41.5:9001 dfs.namenode.name.dir file:/opt/hjyang/soft/hadoop/dsf/name dfs.datanode.data.dir file:/opt/hjyang/soft/hadoop/dsf/data dfs.replication 1 dfs.webhdfs.enabled true

参数说明：  
dfs.namenode.secondary.http-address：  
"secondName"的地址，作为"namenode"的一个备份，目的就是灾备。因为就一个机器所以都配置了相同的机器，只是用了不同的端口  
dfs.namenode.name.dir 和 dfs.namenode.data.dir：  
指的是"namenode"存储的"datanode"元数据的信息，需要配置两个目录一个是存放"name"和"data"目录  
dfs.replication：  
数据文件块（black）复制备份的个数，在HDFS分布式文件系统中，为了保证数据的完整性，底层的机制是需要多拷贝几份数据分不到不同的计算 机上的，目的同样是灾备。  
dfs.webhdfs.enabled：  
指的是是否可以通过web站点进行Hdfs管理，后面我们会演示，如何通过页面打开HDFS文件。

10、c-修改"mapred-site.xml"：  
vim /opt/hjyang/soft/hadoop/etc/hadoop/mapred-site.xml

mapreduce.framework.name yarn mapreduce.jobhistory.address 192.168.41.5:10020 mapreduce.jobhistory.webapp.address 192.168.41.5:19888

11、d-修改"yarn-site.xml"：  
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-site.xml

yarn.nodemanager.aux-services mapreduce\_shuffle yarn.nodemanager.aux-services.mapreduce.shuffle.class org.apache.hadoop.mapred.ShuffleHandler yarn.resourcemanager.address 192.168.41.5:8032 yarn.resourcemanager.scheduler.address 192.168.41.5:8030 yarn.resourcemanager.resource-tracker.address 192.168.41.5:8035 yarn.resourcemanager.admin.address 192.168.41.5:8033 yarn.resourcemanager.webapp.address192.168.41.5:8088

12、配置"Hadoop"的"jdk"路径（不指定不能运行的）：  
"hadoop-env.sh"和"yarn-env.sh"开头添加如下：  
export JAVA\_HOME=/opt/hjyang/soft/jdk

vim /opt/hjyang/soft/hadoop/etc/hadoop/hadoop-env.sh  
vim /opt/hjyang/soft/hadoop/etc/hadoop/yarn-env.sh

13、检查"hadoop"用户对所有文件拥有执行权限：  
ll /opt/hjyang/soft/hadoop/  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70]

14、格式化"HDFS"文件，启动这单节点的"Hadoop"集群：  
Hadoop分布式存储系统(“HDFS”)格式化：只能在初始化系统的时候执行一次（要不执行一次数据就丢失一次）：  
/opt/hjyang/soft/hadoop/bin/hadoop namenode -format  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 1]  
看到上面显示的信息，说明已经执行成功了。  
否则报什么错误，解决什么错误。一般错误的原因都是配置文件粗心导致的错误，仔细检查就行了。

15、Hadoop 集群进行启动验证（验证方式：两点）：  
A、第一点：保证HDFS完整没问题  
a、启动"HDFS"命令：  
/opt/hjyang/soft/hadoop/sbin/start-dfs.sh  
![在这里插入图片描述][20190221222136385.png]  
![在这里插入图片描述][20190221222146768.png]  
b、查看"HDFS"状态（两种方式）：  
/opt/hjyang/soft/hadoop/bin/hadoop dfsadmin -report  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 2]  
或打开网站：  
http://192.168.41.5:50070/dfshealth.html\#tab-overview  
或"jps"查看：  
![在这里插入图片描述][20190221222219443.png]  
16、"Hadoop"集群启动查看：  
启动Hadoop集群：  
/opt/hjyang/soft/hadoop/sbin/start-yarn.sh  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 3]

查看其状态：  
http://192.168.41.5:8088/cluster

关于Hadoop大数据集群的搭建后续依次介绍，比如利用Zookeeper搭建Hadoop高可用平台、Map-Reducer层序的开发、Hive产品的数据分析、Spark的应用程序的开发、Hue的集群坏境的集成和运维、Sqoop2的数据抽取等

查看已开放端口号：  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 4]

http://192.168.41.5:9864/datanode.html\#tab-overview  
https://blog.csdn.net/smugaoyi/article/details/54991069

## 集群完全分布式坏境搭建 ##

分布式安装：

http://www.cnblogs.com/zhijianliutang/p/5756738.html

hadoop配置文件参考：  
https://blog.csdn.net/wee\_mita/article/details/52346752

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70]: /images/20220317/17cb84941b3c443089d3e8c09e866470.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 1]: /images/20220317/37bc0bf78ecd4517a5c6ae7eb6a34c9d.png
[20190221222136385.png]: /images/20220317/809b805a583548fd9b9cec82b7eaf33e.png
[20190221222146768.png]: /images/20220317/a89a720df6b74f3d891fb682bd8e387e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 2]: /images/20220317/7e8ab5f0bfe14dec8c8d19afc6758395.png
[20190221222219443.png]: /images/20220317/a1ac460d49924ef2b658f99ce559c707.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 3]: /images/20220317/a0381012d8624819abd7849e2617161d.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3loajE5OTIwNDE3_size_16_color_FFFFFF_t_70 4]: /images/20220317/30f533272ada4ec4ac7d26ce3a109c84.png