Hadoop之Hadoop基础知识面试复习

小咪咪 2022-01-21 05:29 239阅读 0赞

# Hadoop之Hadoop基础知识常问面试题 #

--------------------

1.  列举几个hadoop生态圈的组件并做简要描述。
    
    1.  Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。
    2.  Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
    3.  Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。
    4.  Hive:基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。
    5.  Sqoop:将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。
    
    --------------------
2.  解释“hadoop”和“hadoop 生态系统”两个概念。
    
    1.  Hadoop是指Hadoop框架本身；hadoop生态系统，不仅包含hadoop，还包括保证hadoop框架正常高效运行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等辅助框架。

--------------------

1.  简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。
    
    1.  使用root账户登录
    2.  修改IP
    3.  修改host主机名
    4.  配置SSH免密码登录
    5.  关闭防火墙
    6.  安装JDK
    7.  解压hadoop安装包
    8.  配置hadoop的核心文件 [hadoop-env.sh][]，core-site.xml , mapred-site.xml ， hdfs-site.xml
    9.  配置hadoop环境变量
    10. 格式化 hadoop namenode-format
    11. [启动节点start-all.sh][start-all.sh]

--------------------

1.  Hadoop中需要哪些配置文件，其作用是什么？

1）core-site.xml：

1.  fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径 。
2.  hadoop.tmp.dir:/export/data/hadoop\_tmp,这里的路径默认是NameNode、DataNode、secondaryNamenode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
3.  ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 。

2）[hadoop-env.sh][]: 只需设置jdk的安装路径，如：export JAVA\_HOME=/usr/local/jdk。

3）hdfs-site.xml：

1.  dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为3个。
2.  dfs.data.dir:datanode节点存储在文件系统的目录。
3.  dfs.name.dir:是namenode节点存储hadoop文件系统信息的本地系统路径 。

4）mapred-site.xml：[mapreduce.framework.name][]: 指定mr运行在yarn上。

--------------------

1.  简述Hadoop的几个默认端口及其含义  
    1）dfs.namenode.http-address（namenode的http服务的端口）:50070  
    2）SecondaryNameNode辅助名称节点端口号：50090  
    3）dfs.datanode.address（datanode服务端口，用于数据传输）:50010  
    4）fs.defaultFS:8020 或者9000  
    5）yarn.resourcemanager.webapp.address（yarn的http服务端口）:8088

[hadoop-env.sh]: http://hadoop-env.sh
[start-all.sh]: http://xn--start-all-fy5om8k7s7idl4b.sh
[mapreduce.framework.name]: http://mapreduce.framework.name