linux下把进程/线程绑定到特定cpu核上运行

╰+攻爆jí腚メ 2021-09-21 10:40 396阅读 0赞

### 概述 ###

现在大家使用的基本上都是多核cpu，一般是4核的。平时应用程序在运行时都是由操作系统管理的。操作系统对应用进程进行调度，使其在不同的核上轮番运行。

对于普通的应用，操作系统的默认调度机制是没有问题的。但是，当某个进程需要较高的运行效率时，就有必要考虑将其绑定到单独的核上运行，以减小由于在不同的核上调度造成的开销。

把某个进程/线程绑定到特定的cpu核上后，该进程就会一直在此核上运行，不会再被操作系统调度到其他核上。但绑定的这个核上还是可能会被调度运行其他应用程序的。

### 操作系统对多核cpu的调度 ###

目前windows和linux都支持对多核cpu进行调度管理。

> 软件开发在多核环境下的核心是多线程开发。这个多线程不仅代表了软件实现上多线程，要求在硬件上也采用多线程技术。

多核操作系统的关注点在于进程的分配和调度。进程的分配将进程分配到合理的物理核上，因为不同的核在共享性和历史运行情况都是不同的。有的物理核能够共享二级cache，而有的却是独立的。如果将有数据共享的进程分配给有共享二级cache的核上，将大大提升性能；反之，就有可能影响性能。

进程调度会涉及实时性、负载均衡等问题，目前研究的热点问题主要集中在以下方面：

*  程序的并行开发设计
 *  多进程的时间相关性
 *  任务的分配和调度
 *  缓存的错误共享
 *  一致性访问问题
 *  进程间通信
 *  多处理器核内部资源竞争

多进程和多线程在cpu核上运行时情况如下：

*  每个 CPU 核运行一个进程的时候，由于每个进程的资源都独立，所以 CPU 核心之间切换的时候无需考虑上下文
 *  每个 CPU 核运行一个线程的时候，有时线程之间需要共享资源，所以这些资源必须从 CPU 的一个核心被复制到另外一个核心，这会造成额外的开销

### 绑定进程到cpu核上运行 ###

查看cpu有几个核

使用`cat /proc/cpuinfo`查看cpu信息，如下两个信息：

*  processor，指明第几个cpu处理器
 *  cpu cores，指明每个处理器的核心数

也可以使用系统调用sysconf获取cpu核心数：

#include <unistd.h>
    
    int sysconf(_SC_NPROCESSORS_CONF);/* 返回系统可以使用的核数，但是其值会包括系统中禁用的核的数目，因 此该值并不代表当前系统中可用的核数 */
    int sysconf(_SC_NPROCESSORS_ONLN);/* 返回值真正的代表了系统当前可用的核数 */
    
    /* 以下两个函数与上述类似 */
    #include <sys/sysinfo.h>
    
    int get_nprocs_conf (void);/* 可用核数 */
    int get_nprocs (void);/* 真正的反映了当前可用核数 */

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10

我使用的是虚拟机，有2个处理器，每个处理器只有一个核，等同于一个处理器两个核心。

使用taskset指令

*  获取进程pid

-> % ps
      PID TTY          TIME CMD
     2683 pts/1    00:00:00 zsh
     2726 pts/1    00:00:00 dgram_servr
     2930 pts/1    00:00:00 ps

*  1
 *  2
 *  3
 *  4
 *  5

*  查看进程当前运行在哪个cpu上

-> % taskset -p 2726
    pid 2726's current affinity mask: 3

*  1
 *  2

显示的十进制数字3转换为2进制为最低两个是1，每个1对应一个cpu，所以进程运行在2个cpu上。

*  指定进程运行在cpu1上

-> % taskset -pc 1 2726
    pid 2726's current affinity list: 0,1
    pid 2726's new affinity list: 1

*  1
 *  2
 *  3

注意，cpu的标号是从0开始的，所以cpu1表示第二个cpu（第一个cpu的标号是0）。

至此，就把应用程序绑定到了cpu1上运行，查看如下：

-> % taskset -p 2726
    pid 2726's current affinity mask: 2

*  1
 *  2

*  启动程序时绑定cpu

#启动时绑定到第二个cpu
    -> % taskset -c 1 ./dgram_servr&
    [1] 3011
    
    #查看确认绑定情况
    -> % taskset -p 3011
    pid 3011's current affinity mask: 2

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7

使用sched\_setaffinity系统调用

sched\_setaffinity可以将某个进程绑定到一个特定的CPU。

#define _GNU_SOURCE             /* See feature_test_macros(7) */
    #include <sched.h>
    
    /* 设置进程号为pid的进程运行在mask所设定的CPU上
     * 第二个参数cpusetsize是mask所指定的数的长度
     * 通常设定为sizeof(cpu_set_t)
    
     * 如果pid的值为0,则表示指定的是当前进程 
     */
    int sched_setaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);
    
    int sched_getaffinity(pid_t pid, size_t cpusetsize, cpu_set_t *mask);/* 获得pid所指示的进程的CPU位掩码,并将该掩码返回到mask所指向的结构中 */

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12

*  实例

#include<stdlib.h>
    #include<stdio.h>
    #include<sys/types.h>
    #include<sys/sysinfo.h>
    #include<unistd.h>
    
    #define __USE_GNU
    #include<sched.h>
    #include<ctype.h>
    #include<string.h>
    #include<pthread.h>
    #define THREAD_MAX_NUM 200  //1个CPU内的最多进程数
    
    int num=0;  //cpu中核数
    void* threadFun(void* arg)  //arg  传递线程标号（自己定义）
    {
             cpu_set_t mask;  //CPU核的集合
             cpu_set_t get;   //获取在集合中的CPU
             int *a = (int *)arg; 
             int i;
    
             printf("the thread is:%d\n",*a);  //显示是第几个线程
             CPU_ZERO(&mask);    //置空
             CPU_SET(*a,&mask);   //设置亲和力值
             if (sched_setaffinity(0, sizeof(mask), &mask) == -1)//设置线程CPU亲和力
             {
                       printf("warning: could not set CPU affinity, continuing...\n");
             }
    
               CPU_ZERO(&get);
               if (sched_getaffinity(0, sizeof(get), &get) == -1)//获取线程CPU亲和力
               {
                        printf("warning: cound not get thread affinity, continuing...\n");
               }
               for (i = 0; i < num; i++)
               {
                        if (CPU_ISSET(i, &get))//判断线程与哪个CPU有亲和力
                        {
                                 printf("this thread %d is running processor : %d\n", i,i);
                        }
               }
    
             return NULL;
    }
    
    int main(int argc, char* argv[])
    {
             int tid[THREAD_MAX_NUM];
             int i;
             pthread_t thread[THREAD_MAX_NUM];
    
             num = sysconf(_SC_NPROCESSORS_CONF);  //获取核数
             if (num > THREAD_MAX_NUM) {
                printf("num of cores[%d] is bigger than THREAD_MAX_NUM[%d]!\n", num, THREAD_MAX_NUM);
                return -1;
             }
             printf("system has %i processor(s). \n", num);
    
             for(i=0;i<num;i++)
             {
                       tid[i] = i;  //每个线程必须有个tid[i]
                       pthread_create(&thread[i],NULL,threadFun,(void*)&tid[i]);
             }
             for(i=0; i< num; i++)
             {
                       pthread_join(thread[i],NULL);//等待所有的线程结束，线程为死循环所以CTRL+C结束
             }
             return 0;
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34
 *  35
 *  36
 *  37
 *  38
 *  39
 *  40
 *  41
 *  42
 *  43
 *  44
 *  45
 *  46
 *  47
 *  48
 *  49
 *  50
 *  51
 *  52
 *  53
 *  54
 *  55
 *  56
 *  57
 *  58
 *  59
 *  60
 *  61
 *  62
 *  63
 *  64
 *  65
 *  66
 *  67
 *  68
 *  69

*  运行结果

-> % ./a.out
    system has 2 processor(s). 
    the thread is:0
    the thread is:1
    this thread 0 is running processor : 0
    this thread 1 is running processor : 1

*  1
 *  2
 *  3
 *  4
 *  5
 *  6

### 绑定线程到cpu核上运行 ###

*  绑定线程到cpu核上使用pthread\_setaffinity\_np函数，其原型定义如下：

#define _GNU_SOURCE             /* See feature_test_macros(7) */
    #include <pthread.h>
    
    int pthread_setaffinity_np(pthread_t thread, size_t cpusetsize, const cpu_set_t *cpuset);
    int pthread_getaffinity_np(pthread_t thread, size_t cpusetsize, cpu_set_t *cpuset);
    
    Compile and link with -pthread.

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7

*  各参数的意义与sched\_setaffinity相似。
 *  实例

#define _GNU_SOURCE
    #include <pthread.h>
    #include <stdio.h>
    #include <stdlib.h>
    #include <errno.h>
    
    #define handle_error_en(en, msg) \
            do { errno = en; perror(msg); exit(EXIT_FAILURE); } while (0)
    
    int
    main(int argc, char *argv[])
    {
        int s, j;
        cpu_set_t cpuset;
        pthread_t thread;
    
        thread = pthread_self();
    
        /* Set affinity mask to include CPUs 0 to 7 */
    
        CPU_ZERO(&cpuset);
        for (j = 0; j < 8; j++)
            CPU_SET(j, &cpuset);
    
        s = pthread_setaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
        if (s != 0)
            handle_error_en(s, "pthread_setaffinity_np");
    
        /* Check the actual affinity mask assigned to the thread */
    
        s = pthread_getaffinity_np(thread, sizeof(cpu_set_t), &cpuset);
        if (s != 0)
            handle_error_en(s, "pthread_getaffinity_np");
    
        printf("Set returned by pthread_getaffinity_np() contained:\n");
        for (j = 0; j < CPU_SETSIZE; j++)
            if (CPU_ISSET(j, &cpuset))
                printf("    CPU %d\n", j);
    
        exit(EXIT_SUCCESS);
    }

*  1
 *  2
 *  3
 *  4
 *  5
 *  6
 *  7
 *  8
 *  9
 *  10
 *  11
 *  12
 *  13
 *  14
 *  15
 *  16
 *  17
 *  18
 *  19
 *  20
 *  21
 *  22
 *  23
 *  24
 *  25
 *  26
 *  27
 *  28
 *  29
 *  30
 *  31
 *  32
 *  33
 *  34
 *  35
 *  36
 *  37
 *  38
 *  39
 *  40
 *  41

*  运行结果

-> % ./a.out 
    Set returned by pthread_getaffinity_np() contained:
        CPU 0
        CPU 1

*  1
 *  2
 *  3
 *  4

### 总结 ###

可以使用多种方法把进程/线程指定到特定的cpu核上运行。

在具体使用中，要根据使用场景和需求决定使用何种方式。个人认为，重要的一步还是要先确定是否要使用把线程绑定到核心的方式。

--------------------

【参考资料】  
[多核技术导论之操作系统对多核处理器的支持方法][Link 1]  
[线程绑定CPU核-sched\_setaffinity][CPU_-sched_setaffinity]  
[PTHREAD\_SETAFFINITY\_NP(3) Linux Programmer’s ManualPTHREAD\_SETAFFINITY\_NP(3)][PTHREAD_SETAFFINITY_NP_3_ Linux Programmer_s ManualPTHREAD_SETAFFINITY_NP_3]

[Link 1]: https://software.intel.com/zh-cn/articles/book-Multicore-Multithread-Technology_operating_system_support_for_multicore_processors_methods/
[CPU_-sched_setaffinity]: https://blog.csdn.net/lanyzh0909/article/details/50404664
[PTHREAD_SETAFFINITY_NP_3_ Linux Programmer_s ManualPTHREAD_SETAFFINITY_NP_3]: http://man7.org/linux/man-pages/man3/pthread_setaffinity_np.3.html