迁移iceberg：一.查看所需要的资源。

电玩女神 2024-03-17 09:40 30阅读 0赞

## 一：内存，CPU，核数，线程，硬盘。 ##

### 1. cpu，核素，线程。 ###

*  cpu

cpu就相当于人类的大脑，是处理数据的地方。  
cpu由以下三个组成。

1.  控制器。由控制单元、指令译码器、指令寄存器组成。
2.  运算器。运算器的核心是算术逻辑运算单元。
3.  寄存器。高速缓存。

一般来讲，我们普通电脑只能有一个cpu卡槽，所以只能有一个cpu。但是在服务器上可以有多个cpu卡槽，来增加处理速度。

*  核数，线程

从一开始，一个cpu只有一个核数。一个核数只能处理一个线程。  
后来为了增加处理速度，所以在cpu中，增加了核数。有些一个cpu俩核，四核。同样为了增加每个核数的处理效率，一个核数从一开始能处理1个线程，增加到，可以处理俩个，四个。

在实际的工作中，我们可以通过调整服务器的参数，来扩张核数。默认为3.

cpu 包含 核数，核数包含线程。

### 2.内存，硬盘。 ###

内存和硬盘是对于数据存储的地方。  
对比

1.  内存对于数据的读取速率要远大于硬盘。
2.  内存费用也会大于硬盘。
3.  硬盘对于数据的安全性会大于内存。如果内存崩掉，或者服务器宕机，那么内存中的数据就会丢失。所以常常有些组件，会定期的将内存中的数据读写到硬盘中，来保证数据的准确性。

### 3. 大数据中使用yarn跑任务，怎么查看每个任务使用的资源。 ###

进入yarn上，找到对应的任务，查看cpu和内存。  
![在这里插入图片描述][05820e7a71984b7cba3022a3cbae375e.png]  
在服务器中，输入命令，查看使用资源的大小。

hdfs dfs -du -h /flink/xxxx

![在这里插入图片描述][06ee38cfe5234012b26004a9e218d567.png]

[05820e7a71984b7cba3022a3cbae375e.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/65754d97326246c898dbe0a935453962.png
[06ee38cfe5234012b26004a9e218d567.png]: https://image.dandelioncloud.cn/pgy_files/images/2024/03/17/9f6e13b0f4b846cca2c8c3684badcc7e.png