大数据hadoop面试经典题

深碍√TFBOYSˉ_ 2021-09-16 14:40 808阅读 0赞

**0.在Hadoop中定义的主要公用InputFormat中，默认是哪一个？（A）**

A、 TextInputFormat

B、 KeyValueInputFormat

C、 SequenceFileInputFormat

**1. 下面哪个程序负责 HDFS 数据存储？（C）**

A.NameNode

B.JobTracker

C.DataNode

D.SecondaryNameNode

E.tasktracker

**2.HDFS 中的 block 默认保存几份？（A）**

A.3 份

B.2 份

C.1 份

D.不确定

**3.下列哪个程序通常与 NameNode 在一个节点启动？（D）**

A.SecondaryNameNode

B.DataNode

C.TaskTracker

D.JobTracker

hadoop的集群是基于master/slave模式，namenode和jobtracker属于master，datanode和tasktracker属于slave，master只有一个，而slave有多个.

SecondaryNameNode内存需求和NameNode在一个数量级上，所以通常secondary NameNode（运行在单独的物理机器上）和 NameNode 运行在不同的机器上。

JobTracker对应于NameNode,TaskTracker对应于DataNode.

DataNode和NameNode是针对数据存放来而言的.JobTracker和TaskTracker是对于MapReduce执行而言的.

mapreduce中几个主要概念，mapreduce 整体上可以分为这么几条执行线索：

jobclient，JobTracker与TaskTracker。

1、JobClient会在用户端通过JobClient类将已经配置参数打包成jar文件的应用存储到hdfs，并把路径提交到Jobtracker,然后由JobTracker创建每一个Task（即 MapTask 和 ReduceTask） 并将它们分发到各个TaskTracker服务中去执行。

2、JobTracker是一master服务，软件启动之后JobTracker接收Job，负责调度Job的每一个子任务。task运行于TaskTracker上，并监控它们，如果发现有失败的task就重新运行它。一般情况应该把JobTracker 部署在单独的机器上。

3、TaskTracker是运行在多个节点上的slaver服务。TaskTracker主动与JobTracker通信，接收作业，并负责直接执行每一个任务。 TaskTracker 都需要运行在HDFS的DataNode上。

**4.关于 SecondaryNameNode 哪项是正确的？（C）**

A.它是 NameNode 的热备

B.它是内存没有要求

C.他的目的使帮助 NameNode 合并编辑日志，减少 NameNode 启动时间

D. SecondaryNameNode 应与 NameNode 部署到一个节点

**5、HDFS 默认 BlockSize 是（B）**

A.32MB

B.64MB

C.128MB

**6、下列哪项通常是集群的最主要瓶颈（C）**

A.CPU

B.网络

C.磁盘 IO

D.内存

**7、 下列哪项可以作为集群的管理？（ABC）**

A.Puppet

B.Pdsh

C.ClouderaManager

D.Zookeeper

**8、Client 端上传文件的时候下列哪项正确？（BC）**

A.数据经过 NameNode 传递 DataNode

B.Client 端将文件切分为 Block，依次上传

C.Client 只上传数据到一台 DataNode，然后由 NameNode 负责 Block 复制工作

**9、下列哪个是 Hadoop 运行的模式？（ABC）**

A.单机版

B.伪分布式

C.分布式

**10、列举几个hadoop生态圈的组件并做简要描述**

Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。

Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。

Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统.

Hive:基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。

Sqoop:将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。

**11、Hadoop中需要哪些配置文件，其作用是什么？**

1>.Core-site.xml：

(1)fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径 。

(2)hadoop.tmp.dir:/export/data/hadoop\_tmp,这里的路径默认是NameNode、DataNode、JournalNode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。

(3)ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 。

2>.Hadoop-env.sh: 只需设置jdk的安装路径，如：export JAVA\_HOME=/usr/local/jdk 本机j位置

3>.Hdfs-site.xml：

(1) dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为3个。

(2) dfs.data.dir:datanode节点存储在文件系统的目录 。

(3) dfs.name.dir:是namenode节点存储hadoop文件系统信息的本地系统路径 。

4>.Mapred-site.xml：

(1)mapred.job.tracker:是jobtracker的主机和端口配置 。

**12、 请列出正常工作的Hadoop集群中Hadoop都分别需要启动哪些进程，它们的作用分别是什么?**

a) NameNode它是hadoop中的主服务器，管理文件系统名称空间和对集群中存储的文件的访问，保存有 metadate.

b).SecondaryNameNode它不是namenode的冗余守护进程，而是提供周期检查点和清理任务。帮助NN合并editslog，减少NN启动时间。

c)DataNode它负责管理连接到节点的存储（一个集群中可以有多个节点）。每个存

储数据的节点运行一个datanode守护进程。

d)ResourceManager（JobTracker）JobTracker负责调度DataNode上的工作。每个DataNode有一个TaskTracker，它们执行实际工作。

e) NodeManager（TaskTracker）执行任务

f) DFSZKFailoverController高可用时它负责监控NN的状态，并及时的把状态信息写入ZK。它通过一个独立线程周期性的调用NN上的一个特定接口来获取NN的健康状态。FC也有选择谁作为Active NN的权利，因为最多只有两个节点，目前选择策略还比较简单（先到先得，轮换）。

g) JournalNode 高可用情况下存放namenode的editlog文件.

**13、 HDFS的存储机制？**

写入HDFS过程：

Client调用DistributedFileSystem对象的create方法，创建一个文件输出流（FSDataOutputStream）对象，通过DistributedFileSystem对象与Hadoop集群的NameNode进行一次RPC远程调用，在HDFS的Namespace中创建一个文件条目（Entry），该条目没有任何的Block，通过FSDataOutputStream对象，向DataNode写入数据，数据首先被写入FSDataOutputStream对象内部的Buffer中，然后数据被分割成一个个Packet数据包，以Packet最小单位，基于Socket连接发送到按特定算法选择的HDFS集群中一组DataNode（正常是3个，可能大于等于1）中的一个节点上，在这组DataNode组成的 Pipeline上依次传输 Packet， 这组 DataNode 组成的 Pipeline反方向上，发送 ack，最终由 Pipeline 中第一个 DataNode 节点将 Pipeline ack发送给Client，完成向文件写入数据，Client 在文件输出流（FSDataOutputStream）对象上调用close方法，关闭流.调用DistributedFileSystem对象的complete 方法，通知 NameNode 文件写入成功.

读取文件过程：

使用HDFS提供的客户端开发库Client，向远程的Namenode发起RPC请求；Namenode会视情况返回文件的部分或全部block列表，对于每个block，Namenode都会返回有该block拷贝的DataNode地址；客户端开发库Client会选取离客户端最接近的DataNode来读取block；如果客户端本身就是DataNode,那么将从本地直接获取数据.读取完当前block的数据后，关闭与当前的DataNode连接，并为读取下一个block寻找最佳的DataNode；当读完列表的block后，且文件读取还没有结束，客户端开发库会继续向Namenode获取下一批的block列表。读取完一个block都会进行 checksum 验证，如果读取 datanode 时出现错误，客户端会通知 Namenode，然后再从下一个拥有该 block 拷贝的 datanode 继续读。

**14、HDFS的存储机制是什么**

客户端通过把请求发送给NameNode active，NN会把文件切成1个到N个固定大小的block（一般默认为128M）并上传到DN中。当所有block拷贝结束时，NN会立即通知客户端上传结果。但此时上传的流程还未结束。DN还需要根据配置信息的副本数量，在不同的机架节点上通过局域网作数据拷贝工作。

**15、Hadoop 是由哪几个组件组成**

hadoop 是一套处理大数据的生态系统，包括文件存储HDFS ，计算框架MapReduce调度框架Yarn，数据库Hbase ，数据仓库Hive，协调与锁服务zookeeper，关系型数 据库与Hbase转换工具sqoop，工作流模块Oozie,机器学习模块mahout.

**16、hadoop 节点动态上线下线怎么操作?**

**节点上线操作：**

当要新上线数据节点的时候，需要把数据节点的名字追加在 dfs.hosts 文件中

一，关闭新增节点的防火墙

二，在 NameNode 节点的 hosts 文件中加入新增数据节点的 hostname

三，在每个新增数据节点的 hosts 文件中加入 NameNode 的 hostname

四，在 NameNode 节点上增加新增节点的 SSH 免密码登录的操作

五，在 NameNode 节点上的 dfs.hosts 中追加上新增节点的 hostname,

六，在其他节点上执行刷新操作：hdfs dfsadmin -refreshNodes

七，在 NameNode 节点上，更改 slaves 文件，将要上线的数据节点 hostname 追加