linux下让进程运行在指定的cpu上

深碍√TFBOYSˉ_ 2022-08-06 14:17 255阅读 0赞

最近负责的svr压力比较大，业务逻辑有点复杂,能优化的地方已经全部优化了，

目前每秒3k次，cpu负载还是比较高

top看一下，4核的cpu负载不是太均衡，打算考虑一下将业务进程指定到3个cpu上运行，另外一个cpu专门负责处理网络收发包；打算尝试一下，如果还是不行，再过段时间，访问量再增加的话，就要加机器了，呜呜

**补充**：今天测试了一下，效果挺好，同样进程数的情况下，进行cpu绑定

每个cpu都利用起来了，负载也比不绑定的情况下好了很多

分析一下有效果的原因：

看了《linux内核设计与实现》的42节，觉得人为控制一下cpu的绑定还是有用处的  
1、linux的SMP负载均衡是基于进程数的，每个cpu都有一个可执行进程队列，只有当其中一个cpu的可执行队列里进程数比其他cpu队列进程数多25%时，才会将进程移动到另外空闲cpu上，也就是说cpu0上的进程数应该是比其他cpu上多，但是会在25%以内

2、我们的业务中耗费cpu的分四种类型，(1)网卡中断(2)1个处理网络收发包进程(3)耗费cpu的n个worker进程(4)其他不太耗费cpu的进程

基于1中的 负载均衡是针对进程数，那么(1)(2)大部分时间会出现在cpu0上，(3)的n个进程会随着调度，平均到其他多个cpu上，(4)里的进程也是随着调度分配到各个cpu上；

当发生网卡中断的时候，cpu被打断了，处理网卡中断，那么分配到cpu0上的worker进程肯定是运行不了的

其他cpu上不是太耗费cpu的进程获得cpu时，就算它的时间片很短，它也是要执行的，那么这个时候，你的worker进程还是被影响到了；按照调度逻辑，一种非常恶劣的情况是：(1)(2)(3)的进程全部分配到cpu0上，其他不太耗费cpu的进程数很多，全部分配到cpu1，cpu2，cpu3上。。那么网卡中断发生的时候，你的业务进程就得不到cpu了

如果从业务的角度来说，worker进程运行越多，肯定业务处理越快，人为的将它捆绑到其他负载低的cpu上，肯定能提高worker进程使用cpu的时间

找了个例子：

现在多CPU的趋势越来越大了. 有时候为了更好地操作机器, 需要将某个进程绑定到具体的CPU上去. 下面给出了一个进程绑定到具体的CPU上去的一个例子.

\#include<stdlib.h> \#include<stdio.h> \#include<sys/types.h> \#include<sys/sysinfo.h> \#include<unistd.h> \#define \_\_USE\_GNU \#include<sched.h> \#include<ctype.h> \#include<string.h> int main(int argc, char\* argv\[\]) \{ int num = sysconf(\_SC\_NPROCESSORS\_CONF); int created\_thread = 0; int myid; int i; int j = 0; cpu\_set\_t mask; cpu\_set\_t get; if (argc != 2) \{ printf("usage : ./cpu num/n"); exit(1); \} myid = atoi(argv\[1\]); printf("system has %i processor(s). /n", num); CPU\_ZERO(&mask); CPU\_SET(myid, &mask); if (sched\_setaffinity(0, sizeof(mask), &mask) == -1) \{ printf("warning: could not set CPU affinity, continuing.../n"); \} while (1) \{ CPU\_ZERO(&get); if (sched\_getaffinity(0, sizeof(get), &get) == -1) \{ printf("warning: cound not get cpu affinity, continuing.../n"); \} for (i = 0; i < num; i++) \{ if (CPU\_ISSET(i, &get)) \{ printf("this process %d is running processor : %d/n",getpid(), i); \} \} \} return 0; \}  
  
下面是在两个终端分别执行了./cpu 0  ./cpu 2 后得到的结果. 效果比较明显.

QUOTE:

Cpu0  :  5.3%us,  5.3%sy,  0.0%ni, 87.4%id,  0.0%wa,  0.0%hi,  2.0%si,  0.0%st  
Cpu1  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu2  :  5.0%us, 12.2%sy,  0.0%ni, 82.8%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu3  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu4  :  0.0%us,  0.0%sy,  0.0%ni, 99.7%id,  0.3%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu5  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu6  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st  
Cpu7  :  0.0%us,  0.0%sy,  0.0%ni,100.0%id,  0.0%wa,  0.0%hi,  0.0%si,  0.0%st

///

CPU Affinity (CPU亲合力)  
  
CPU亲合力就是指在Linux系统中能够将一个或多个进程绑定到一个或多个处理器上运行.  
一个进程的CPU亲合力掩码决定了该进程将在哪个或哪几个CPU上运行.在一个多处理器系统中,设置CPU亲合力的掩码可能会获得更好的性能.  
一个CPU的亲合力掩码用一个cpu\_set\_t结构体来表示一个CPU集合,下面的几个宏分别对这个掩码集进行操作:  
CPU\_ZERO() 清空一个集合  
CPU\_SET()与CPU\_CLR()分别对将一个给定的CPU号加到一个集合或者从一个集合中去掉.  
CPU\_ISSET()检查一个CPU号是否在这个集合中.  
其实这几个的用法与select()函数那几个调用差不多.  
下面两个函数就是最主要的了:  
sched\_setaffinity(pid\_t pid, unsigned int cpusetsize, cpu\_set\_t \*mask)  
该函数设置进程为pid的这个进程,让它运行在mask所设定的CPU上.如果pid的值为0,则表示指定的是当前进程,使当前进程运行在mask所设定的那些CPU上.第二个参数cpusetsize是  
  
mask所指定的数的长度.通常设定为sizeof(cpu\_set\_t).如果当前pid所指定的CPU此时没有运行在mask所指定的任意一个CPU上,则该指定的进程会从其它CPU上迁移到mask的指定的  
  
一个CPU上运行.  
sched\_getaffinity(pid\_t pid, unsigned int cpusetsize, cpu\_set\_t \*mask)  
该函数获得pid所指示的进程的CPU位掩码,并将该掩码返回到mask所指向的结构中.即获得指定pid当前可以运行在哪些CPU上.同样,如果pid的值为0.也表示的是当前进程.  
  
这几个宏与函数的具体用法前面已经有讲解.  
  
关于cpu\_set\_t的定义

\# define \_\_CPU\_SETSIZE  1024  
\# define \_\_NCPUBITS     (8 \* sizeof (\_\_cpu\_mask))  
  
typedef unsigned long int \_\_cpu\_mask;  
  
\# define \_\_CPUELT(cpu)  ((cpu) / \_\_NCPUBITS)  
\# define \_\_CPUMASK(cpu) ((\_\_cpu\_mask) 1 << ((cpu) % \_\_NCPUBITS))  
  
typedef struct  
\{  
  \_\_cpu\_mask \_\_bits\[\_\_CPU\_SETSIZE / \_\_NCPUBITS\];  
\} cpu\_set\_t;

\# define \_\_CPU\_ZERO(cpusetp) /  
  do \{                                                                        /  
    unsigned int \_\_i;                                                         /  
    cpu\_set\_t \*\_\_arr = (cpusetp);                                             /  
    for (\_\_i = 0; \_\_i < sizeof (cpu\_set\_t) / sizeof (\_\_cpu\_mask); ++\_\_i)      /  
      \_\_arr->\_\_bits\[\_\_i\] = 0;                                                 /  
  \} while (0)  
\# define \_\_CPU\_SET(cpu, cpusetp) /  
  ((cpusetp)->\_\_bits\[\_\_CPUELT (cpu)\] |= \_\_CPUMASK (cpu))  
\# define \_\_CPU\_CLR(cpu, cpusetp) /  
  ((cpusetp)->\_\_bits\[\_\_CPUELT (cpu)\] &= ~\_\_CPUMASK (cpu))  
\# define \_\_CPU\_ISSET(cpu, cpusetp) /  
  (((cpusetp)->\_\_bits\[\_\_CPUELT (cpu)\] & \_\_CPUMASK (cpu)) != 0)

在我的机器上sizeof(cpu\_set\_t)的大小为128,即一共有1024位.第一位代表一个CPU号.某一位为1则表示某进程可以运行在该位所代表的cpu上.例如  
CPU\_SET(1, &mask);  
则mask所对应的第2位被设置为1.  
此时如果printf("%d/n", mask.\_\_bits\[0\]);就打印出2.表示第2位被置为1了.  
  
  
具体我是参考man sched\_setaffinity文档中的函数的.  
然后再参考了一下IBM的 developerWorks上的一个讲解.  
[http://www.ibm.com/developerworks/cn/linux/l-affinity.html][http_www.ibm.com_developerworks_cn_linux_l-affinity.html]

[http_www.ibm.com_developerworks_cn_linux_l-affinity.html]: http://www.ibm.com/developerworks/cn/linux/l-affinity.html