大数据基础面试题一：Linux&Shell&Hadoop

柔情只为你懂 2022-11-05 08:39 11阅读 0赞

# 大数据基础面试题一：Linux&Shell&Hadoop #

### 目录 ###

*  大数据基础面试题一：Linux&Shell&Hadoop
 *   *  一、Linux&Shell
     *   *  1.1 Linux常用高级命令
         *  1.2 Shell常用工具及写过的脚本
         *  1.3 Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作?
         *  1.4 Shell中单引号和双引号区别
     *  二、Hadoop
     *   *  2.1 Hadoop常用端口号
         *  2.2 Hadoop配置文件以及简单的Hadoop集群搭建
         *  2.3 HDFS读流程和写流程
         *  2.4 HDFS小文件处理
         *  2.5 Shuffle及优化
         *  2.6 Yarn工作机制
         *  2.7 Yarn调度器
         *  2.8 项目经验之基准测试
         *  2.9 Hadoop宕机
         *  2.10 Hadoop解决数据倾斜方法

## 一、Linux&Shell ##

### 1.1 Linux常用高级命令 ###

<table> 
 <thead> 
  <tr> 
   <th>序号</th> 
   <th>命令</th> 
   <th>命令解释</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>1</td> 
   <td>top</td> 
   <td>查看内存</td> 
  </tr> 
  <tr> 
   <td>2</td> 
   <td>df -h</td> 
   <td>查看磁盘存储情况</td> 
  </tr> 
  <tr> 
   <td>3</td> 
   <td>iotop</td> 
   <td>查看磁盘IO读写(yum install iotop安装）</td> 
  </tr> 
  <tr> 
   <td>4</td> 
   <td>iotop -o</td> 
   <td>直接查看比较高的磁盘读写程序</td> 
  </tr> 
  <tr> 
   <td>5</td> 
   <td>netstat -tunlp</td> 
   <td>grep 端口号</td> 
  </tr> 
  <tr> 
   <td>6</td> 
   <td>uptime</td> 
   <td>查看报告系统运行时长及平均负载</td> 
  </tr> 
  <tr> 
   <td>7</td> 
   <td>ps -aux</td> 
   <td>查看进程</td> 
  </tr> 
 </tbody> 
</table>

### 1.2 Shell常用工具及写过的脚本 ###

1）awk、sed、cut、sort

2）用Shell写过哪些脚本

1.  集群启动，分发脚本
2.  数仓与MySQL的导入导出
3.  数仓层级内部的导入：ods->dwd->dws->dwt->ads

### 1.3 Shell中提交了一个脚本，进程号已经不知道了，但是需要kill掉这个进程，怎么操作? ###

ssh $i "ps -ef | grep file-flume-kafka | grep -v grep |awk '{print \$2}' | xargs kill"

### 1.4 Shell中单引号和双引号区别 ###

1）在/home/hadoop/bin创建一个test.sh文件

[hadoop@hadoop102 bin]$ vim test.sh

在文件中添加如下内容

#!/bin/bash
    do_date=$1
    
    echo '$do_date'
    echo "$do_date"
    echo "'$do_date'"
    echo '"$do_date"'
    echo `date`

2）查看执行结果

[hadoop@hadoop102 bin]$ test.sh 2019-02-10
    $do_date
    2019-02-10
    '2019-02-10'
    "$do_date"
    2019年 05月 02日 星期四 21:02:08 CST

**3）总结**：

1.  **单引号不取变量值**
2.  **双引号取变量值**
3.  **反引号\`，执行引号中命令**
4.  **双引号内部嵌套单引号，取出变量值**
5.  **单引号内部嵌套双引号，不取出变量值**

## 二、Hadoop ##

### 2.1 Hadoop常用端口号 ###

<table> 
 <thead> 
  <tr> 
   <th></th> 
   <th>hadoop2.x</th> 
   <th>Hadoop3.x</th> 
  </tr> 
 </thead> 
 <tbody> 
  <tr> 
   <td>访问HDFS端口</td> 
   <td>50070</td> 
   <td>9870</td> 
  </tr> 
  <tr> 
   <td>访问MR执行情况端口</td> 
   <td>8088</td> 
   <td>8088</td> 
  </tr> 
  <tr> 
   <td>历史服务器</td> 
   <td>19888</td> 
   <td>19888</td> 
  </tr> 
  <tr> 
   <td>客户端访问集群端口</td> 
   <td>9000</td> 
   <td>8020</td> 
  </tr> 
 </tbody> 
</table>

### 2.2 Hadoop配置文件以及简单的Hadoop集群搭建 ###

（1）配置文件：

*  Hadoop2.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml slaves
 *  Hadoop3.x core-site.xml、hdfs-site.xml、mapred-site.xml、yarn-site.xml workers

（2）简单的集群搭建过程：

*  JDK安装
 *  配置SSH免密登录
 *  配置hadoop核心文件
 *  格式化namenode

### 2.3 HDFS读流程和写流程 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]

### 2.4 HDFS小文件处理 ###

**1）小文件过多会有什么影响**

（1）存储层面：

> 1个文件块，占用namenode多大内存150字节  
> 1亿个小文件*150字节  
> 1个文件块 \* 150字节  
> 128G能存储多少文件块？ 128 \* 1024*1024\*1024byte/150字节 = 9亿文件块

（2）计算层面：

> 每个小文件都会起到一个MapTask，占用了大量计算资源

**2）怎么解决**

（1）采用har归档方式，将小文件归档  
（2）采用CombineTextInputFormat  
（3）有小文件场景开启JVM重用；如果没有小文件，不要开启JVM重用，因为会一直占用使用到的task卡槽，直到任务完成才释放。

JVM重用可以使得JVM实例在同一个job中重新使用N次，N的值可以在Hadoop的mapred-site.xml文件中进行配置。通常在10-20之间

<property>
        <name>mapreduce.job.jvm.numtasks</name>
        <value>10</value>
        <description>How many tasks to run per jvm,if set to -1 ,there is  no limit</description>
    </property>

### 2.5 Shuffle及优化 ###

1、Shuffle过程  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]

**2、优化**  
**1）Map阶段**

（1）增大环形缓冲区大小。由100m扩大到200m  
（2）增大环形缓冲区溢写的比例。由80%扩大到90%  
（3）减少对溢写文件的merge次数。（10个文件，一次20个merge）  
（4）不影响实际业务的前提下，采用Combiner提前合并，减少 I/O。

**2）Reduce阶段**

（1）合理设置Map和Reduce数：两个都不能设置太少，也不能设置太多。太少，会导致Task等待，延长处理时间；太多，会导致 Map、Reduce任务间竞争资源，造成处理超时等错误。  
（2）设置Map、Reduce共存：调整slowstart.completedmaps参数，使Map运行到一定程度后，Reduce也开始运行，减少Reduce的等待时间。  
（3）规避使用Reduce，因为Reduce在用于连接数据集的时候将会产生大量的网络消耗。  
（4）增加每个Reduce去Map中拿数据的并行数  
（5）集群性能可以的前提下，增大Reduce端存储数据内存的大小。

**3）IO传输**

采用数据压缩的方式，减少网络IO的的时间。安装Snappy和LZOP压缩编码器。  
压缩：  
（1）map输入端主要考虑数据量大小和切片，支持切片的有Bzip2、LZO。注意：LZO要想支持切片必须创建索引；  
（2）map输出端主要考虑速度，速度快的snappy、LZO；  
（3）reduce输出端主要看具体需求，例如作为下一个mr输入需要考虑切片，永久保存考虑压缩率比较大的gzip。

**4）整体**

（1）NodeManager默认内存8G，需要根据服务器实际配置灵活调整，例如128G内存，配置为100G内存左右，yarn.nodemanager.resource.memory-mb。  
（2）单任务默认内存8G，需要根据该任务的数据量灵活调整，例如128m数据，配置1G内存，yarn.scheduler.maximum-allocation-mb。  
（3）mapreduce.map.memory.mb ：控制分配给MapTask内存上限，如果超过会kill掉进程（报：Container is running beyond physical memory limits. Current usage:565MB of512MB physical memory used；Killing Container）。默认内存大小为1G，如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加MapTask内存，最大可以增加到4-5g。  
（4）mapreduce.reduce.memory.mb：控制分配给ReduceTask内存上限。默认内存大小为1G，如果数据量是128m，正常不需要调整内存；如果数据量大于128m，可以增加ReduceTask内存大小为4-5g。  
（5）mapreduce.map.java.opts：控制MapTask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）  
（6）mapreduce.reduce.java.opts：控制ReduceTask堆内存大小。（如果内存不够，报：java.lang.OutOfMemoryError）  
（7）可以增加MapTask的CPU核数，增加ReduceTask的CPU核数  
（8）增加每个Container的CPU核数和内存大小  
（9）在hdfs-site.xml文件中配置多目录（多磁盘）  
（10）NameNode有一个工作线程池，用来处理不同DataNode的并发心跳以及客户端并发的元数据操作。dfs.namenode.handler.count=![，][20210304195033181.png]  
比如集群规模为8台时，此参数设置为41。可通过简单的python代码计算该值，代码如下。

[hadoop@hadoop102 ~]$ python
    Python 2.7.5 (default, Apr 11 2018, 07:36:10) 
    [GCC 4.8.5 20150623 (Red Hat 4.8.5-28)] on linux2
    Type "help", "copyright", "credits" or "license" for more information.
    >>> import math
    >>> print int(20*math.log(8))
    41
    >>> quit()

### 2.6 Yarn工作机制 ###

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]

### 2.7 Yarn调度器 ###

**1）Hadoop调度器重要分为三类：**

> FIFO 、Capacity Scheduler（容量调度器）和Fair Sceduler（公平调度器）。  
> Apache默认的资源调度器是容量调度器；  
> CDH默认的资源调度器是公平调度器。

**2）区别：**

> FIFO调度器：支持单队列 、先进先出 生产环境不会用。  
> 容量调度器：支持多队列，保证先进入的任务优先执行。  
> 公平调度器：支持多队列，保证每个任务公平享有队列资源。 资源不够时可以按照缺额分配。

**3）在生产环境下怎么选择？**

> 大厂：如果对并发度要求比较高，选择公平，要求服务器性能必须OK；  
> 中小公司，集群服务器资源不太充裕选择容量。

**4）在生产环境怎么创建队列？**

（1）调度器默认就1个default队列，不能满足生产要求。  
（2）按照框架：hive /spark/ flink 每个框架的任务放入指定的队列（企业用的不是特别多）  
（3）按照业务模块：登录注册、购物车、下单、业务部门1、业务部门2

**5）创建多队列的好处？**

（1）因为担心员工不小心，写递归死循环代码，把所有资源全部耗尽。  
（2）实现任务的降级使用，特殊时期保证重要的任务队列资源充足。  
业务部门1（重要）=》业务部门2（比较重要）=》下单（一般）=》购物车（一般）=》登录注册（次要）

### 2.8 项目经验之基准测试 ###

搭建完Hadoop集群后需要对HDFS读写性能和MR计算能力测试。测试jar包在hadoop的share文件夹下。  
集群总吞吐量= 带宽\*集群节点个数/副本数  
例如：100m/s \* 10台/ 3= 333m/s  
注意：如果测试数据在本地，那副本数-1。因为这个副本不占集群吞吐量。如果数据在集群外，向该集群上传，需要占用带宽。本公式就不用减1。

### 2.9 Hadoop宕机 ###

1）如果MR造成系统宕机。此时要控制Yarn同时运行的任务数，和每个任务申请的最大内存。调整参数：yarn.scheduler.maximum-allocation-mb（单个任务可申请的最多物理内存量，默认是8192MB）  
2）如果写入文件过快造成NameNode宕机。那么调高Kafka的存储大小，控制从Kafka到HDFS的写入速度。例如，可以调整Flume每批次拉取数据量的大小参数batchsize。

### 2.10 Hadoop解决数据倾斜方法 ###

**1）提前在map进行combine，减少传输的数据量**

> 在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。  
> 如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。

**2）导致数据倾斜的key 大量分布在不同的mapper**

（1）局部聚合加全局聚合。

> 第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer中进行局部聚合，数量就会大大降低。  
> 第二次mapreduce，去掉key的随机前缀，进行全局聚合。  
> 思想：二次mr，第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。  
> 这个方法进行两次mapreduce，性能稍差。

（2）增加Reducer，提升并行度

> JobConf.setNumReduceTasks(int)

（3）实现自定义分区

> 根据数据分布情况，自定义散列函数，将key均匀分配到不同Reducer

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70]: /images/20221023/534912d6e9bc47e9950037e5858340d2.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 1]: /images/20221023/473615665a594c0e9b481388ee6943ff.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 2]: /images/20221023/57556a112f994479b34b21ab0c0c144a.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 3]: /images/20221023/8719e7142c31469cacb3b25b7ace3975.png
[20210304195033181.png]: /images/20221023/e9ed6614592f4d288ff2d3594f9be776.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3dlaXhpbl80Mjc5NjQwMw_size_16_color_FFFFFF_t_70 4]: /images/20221023/2c771dde8c904d8eab2efe0ec6a43ea8.png