Hadoop之Hadoop基础知识面试复习

小咪咪 2022-01-21 05:29 325阅读 0赞

Hadoop之Hadoop基础知识常问面试题

  1. 列举几个hadoop生态圈的组件并做简要描述。

    1. Zookeeper:是一个开源的分布式应用程序协调服务,基于zookeeper可以实现同步服务，配置维护，命名服务。
    2. Flume:一个高可用的，高可靠的，分布式的海量日志采集、聚合和传输的系统。
    3. Hbase:是一个分布式的、面向列的开源数据库, 利用Hadoop HDFS作为其存储系统。
    4. Hive:基于Hadoop的一个数据仓库工具，可以将结构化的数据档映射为一张数据库表，并提供简单的sql 查询功能，可以将sql语句转换为MapReduce任务进行运行。
    5. Sqoop:将一个关系型数据库中的数据导进到Hadoop的 HDFS中，也可以将HDFS的数据导进到关系型数据库中。

  2. 解释“hadoop”和“hadoop 生态系统”两个概念。

    1. Hadoop是指Hadoop框架本身；hadoop生态系统，不仅包含hadoop，还包括保证hadoop框架正常高效运行其他框架，比如zookeeper、Flume、Hbase、Hive、Sqoop等辅助框架。

  1. 简要描述如何安装配置apache的一个开源Hadoop，只描述即可，无需列出具体步骤，列出具体步骤更好。

    1. 使用root账户登录
    2. 修改IP
    3. 修改host主机名
    4. 配置SSH免密码登录
    5. 关闭防火墙
    6. 安装JDK
    7. 解压hadoop安装包
    8. 配置hadoop的核心文件 hadoop-env.sh，core-site.xml , mapred-site.xml ， hdfs-site.xml
    9. 配置hadoop环境变量
    10. 格式化 hadoop namenode-format
    11. 启动节点start-all.sh
  1. Hadoop中需要哪些配置文件，其作用是什么？

1）core-site.xml：

  1. fs.defaultFS:hdfs://cluster1(域名)，这里的值指的是默认的HDFS路径 。
  2. hadoop.tmp.dir:/export/data/hadoop_tmp,这里的路径默认是NameNode、DataNode、secondaryNamenode等存放数据的公共目录。用户也可以自己单独指定这三类节点的目录。
  3. ha.zookeeper.quorum:hadoop101:2181,hadoop102:2181,hadoop103:2181,这里是ZooKeeper集群的地址和端口。注意，数量一定是奇数，且不少于三个节点 。

2）hadoop-env.sh: 只需设置jdk的安装路径，如：export JAVA_HOME=/usr/local/jdk。

3）hdfs-site.xml：

  1. dfs.replication:他决定着系统里面的文件块的数据备份个数，默认为3个。
  2. dfs.data.dir:datanode节点存储在文件系统的目录。
  3. dfs.name.dir:是namenode节点存储hadoop文件系统信息的本地系统路径 。

4）mapred-site.xml：mapreduce.framework.name: 指定mr运行在yarn上。

  1. 简述Hadoop的几个默认端口及其含义
    1）dfs.namenode.http-address（namenode的http服务的端口）:50070
    2）SecondaryNameNode辅助名称节点端口号：50090
    3）dfs.datanode.address（datanode服务端口，用于数据传输）:50010
    4）fs.defaultFS:8020 或者9000
    5）yarn.resourcemanager.webapp.address（yarn的http服务端口）:8088

发表评论

表情：
评论列表 （有 0 条评论，325人围观）

还没有评论，来说两句吧...

相关阅读