Kafka：硬件配置选择和调优

Love The Way You Lie 2024-03-24 13:38 33阅读 0赞

### **场景说明** ###

100 万日活，每人每天 100 条日志，

每天总共的日志条数是 100 万 \* 100 条 = 1 亿条（中型公司偏小）。

1 亿 / 24 小时 / 60 分 / 60 秒 = 1150 条/每秒钟。

每条日志大小：0.5k - 2k（取 1k）（甚至更多根据实际情况）。

1150 条/每秒钟 \* 1k ≈ 1m/s 。

高峰期（中午小高峰 下午 8 - 12）：1m/s \* 20 倍 = 20m/s 最大 40m/s 。

每秒多少数据量：20MB/s。

### 服务器台数选择 ###

服务器台数 = 2 \* （生产者峰值生产速率 \* 副本 / 100） + 1

= 2 \* （20m/s \* 2 / 100） + 1

= 3 台

建议 3 台服务器。

### 磁盘选择 ###

kafka 底层主要是顺序写，固态硬盘和机械硬盘的顺序写速度差不多。

建议选择普通的机械硬盘。

每天总数据量：1 亿条 \* 1k ≈ 100g

100g \* 副本 2 \* 保存时间 3 天 / 0.7 ≈ 1T

建议三台服务器硬盘总大小，大于等于 1T。

### 内存选择 ###

Kafka 内存组成： 堆内存 （Kafka 内部配置）+ 页缓存（服务器内存）

1）Kafka 堆内存建议每个节点：10g ~ 15g

在bin目录下 kafka-server-start.sh 中修改

if [ "x$KAFKA_HEAP_OPTS" = "x" ]; then
     export KAFKA_HEAP_OPTS="-Xmx10G -Xms10G"
    fi

（1）查看 Kafka 进程号2321

jps
    
    
    2321 Kafka
    5255 Jps
    1931 QuorumPeerMain

（2）根据 Kafka 进程号，查看 Kafka 的 GC 情况（主要看YGC）

jstat -gc 2321 1s 10
    
    
    S0C S1C S0U S1U EC EU OC OU MC MU CCSC CCSU YGC YGCT FGC FGCT GCT 
    0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 60416.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531
    0.0 7168.0 0.0 7168.0 103424.0 61440.0 1986560.0 148433.5 52092.0 46656.1 6780.0 6202.2 13 0.531 0 0.000 0.531

参数说明：

*  S0C：第一个幸存区的大小；
 *  S1C：第二个幸存区的大小
 *  S0U：第一个幸存区的使用大小；
 *  S1U：第二个幸存区的使用大小
 *  EC：伊甸园区的大小；
 *  EU：伊甸园区的使用大小
 *  OC：老年代大小；
 *  OU：老年代使用大小
 *  MC：方法区大小；
 *  MU：方法区使用大小
 *  CCSC:压缩类空间大小；
 *  CCSU:压缩类空间使用大小
 *  YGC：年轻代垃圾回收次数；
 *  YGCT：年轻代垃圾回收消耗时间
 *  FGC：老年代垃圾回收次数；
 *  FGCT：老年代垃圾回收消耗时间
 *  GCT：垃圾回收消耗总时间；

（3）根据 Kafka 进程号，查看 Kafka 的堆内存

![494c5facc6e6460b93e9698fcc87a9f4.png][]

jmap -heap 2321
    
    
    Attaching to process ID 2321, please wait...
    Debugger attached successfully.
    Server compiler detected.
    JVM version is 25.212-b10
    
    using thread-local object allocation.
    Garbage-First (G1) GC with 8 thread(s)
    
    Heap Configuration:
    
     MinHeapFreeRatio = 40
     MaxHeapFreeRatio = 70
     MaxHeapSize = 2147483648 (2048.0MB)
     NewSize = 1363144 (1.2999954223632812MB)
     MaxNewSize = 1287651328 (1228.0MB)
     OldSize = 5452592 (5.1999969482421875MB)
     NewRatio = 2
     SurvivorRatio = 8
     MetaspaceSize = 21807104 (20.796875MB)
     CompressedClassSpaceSize = 1073741824 (1024.0MB)
     MaxMetaspaceSize = 17592186044415 MB
     G1HeapRegionSize = 1048576 (1.0MB)
    
    Heap Usage:
    G1 Heap:
     regions = 2048
     capacity = 2147483648 (2048.0MB)
     used = 246367744 (234.95458984375MB)
     free = 1901115904 (1813.04541015625MB)
     11.472392082214355% used
    G1 Young Generation:
    Eden Space:
     regions = 83
     capacity = 105906176 (101.0MB)
     used = 87031808 (83.0MB)
     free = 18874368 (18.0MB)
     82.17821782178218% used
    Survivor Space:
     regions = 7
     capacity = 7340032 (7.0MB)
     used = 7340032 (7.0MB)
     free = 0 (0.0MB)
     100.0% used
    G1 Old Generation:
     regions = 147
     capacity = 2034237440 (1940.0MB)
     used = 151995904 (144.95458984375MB)
     free = 1882241536 (1795.04541015625MB)
     7.471886074420103% used
    
    13364 interned Strings occupying 1449608 bytes.

2）页缓存：页缓存是 Linux 系统服务器的内存。我们只需要保证 1 个 segment（1g）中 25%的数据在内存中就好。

每个节点页缓存大小 = （分区数 \* 1g \* 25%） / 节点数。例如 10 个分区，页缓存大小 =（10 \* 1g \* 25%）/ 3 ≈ 1g

建议服务器内存大于等于 11G。

### **CPU 选择** ###

num.io.threads = 8 负责写磁盘的线程数，整个参数值要占总核数的 50%。

num.replica.fetchers = 1 副本拉取线程数，这个参数占总核数的 50%的 1/3。

num.network.threads = 3 数据传输线程数，这个参数占总核数的 50%的 2/3。

建议 32 个 cpu core。

这样的话留 8 个 cpu core给其他使用比如监听心跳等

剩下 24 个 cpu core

num.io.threads = 12

num.replica.fetchers = 4