[内核内存] [arm64] 内存初始化5---build_all_zonelists

梦里梦外; 2022-11-18 05:45 194阅读 0赞

linux内核版本：linux4.9.115（arm64）  
细心的读者可能会发现bootmem流程中每个节点strcut pglist\_data构体中的strcut zonelist node\_zonelists\[\]成员还未进行初始化。实际上这些操作是通过start\_kernel函数中的build\_all\_zonlists函数来完成的。在分析该函数前可通过下面链接的博客了解一下备选节点的概念：[http://blog.chinaunix.net/uid-30282771-id-5171166.html][http_blog.chinaunix.net_uid-30282771-id-5171166.html]

build\_all\_zonlists函数主要是为node创建一个内存分配时的优先级的次序。将系统中各个节点的各个zone，按照备选节点的优先级顺序依次填写到strcut zonelist node\_zonelists\[\]数组中。某node的zonlist可以按下面的优先级进行赋值：

1.  对于不同节点，本地node内存放在zonelist的最前面，其它node的内存根据其与本节点的distance的值从小到大依次排列。
2.  对于node内部不同的zone也存在优先级关系，normal zone排在dma zone的前面。

下面介绍一下zonelist的数据结构定义:

enum { 
    	ZONELIST_FALLBACK, /* zonelist with fallback */
    #ifdef CONFIG_NUMA
       /* * The NUMA zonelists are doubled because we need zonelists that * restrict the allocations to a single node for __GFP_THISNODE. */
    	ZONELIST_NOFALLBACK, /* zonelist without fallback (__GFP_THISNODE) */
    #endif
    	MAX_ZONELISTS
    };
    struct zonelist node_zonelists[MAX_ZONELISTS];

在非numa系统中，其只有一个元素，而对于numa系统会有两个元素。其中第一个元素是fallback对应的列表，它会根据我们上面讨论的顺序建立zone的优先级列表（该列表里除了来自本地节点的zone，还有来自其它节点的zone，当本node无法分配时会从其余node分配内存）。而ZONELIST\_NOFALLBACK是numa独有的元素，其对应的列表只将本地节点中的所有zone按优先级排列在里面，若numa系统进行内存分配时若分配者收到了\_\_GFP\_THISNODE分配标志，则内存分配者只会从ZONELIST\_NOFALLBACK对应的列表中获取zone进行分配（在numa系统中当分配的内存标志有\_\_GFP\_THISNODE，那么内存分配就会从node\_zonelists\[1\]列表中去搜索）。

struct zonelist { 
    	struct zoneref _zonerefs[MAX_ZONES_PER_ZONELIST + 1];
    };
    
    struct zoneref { 
    	struct zone *zone; /* Pointer to actual zone */
    	int zone_idx; /* zone_idx(zoneref->zone) */
    };

MAX\_ZONES\_PER\_ZONELIST+1为系统的node数量乘以每个node包含的最大zone数量，最终目的是该数组能够包含系统中各个node的各个zone的信息，zone在数组的排列顺序由前面定义的优先级决定。

下面以源码的形式介绍linux内核如何对内存节点中的备用内存域（node\_zonelists）进行初始化进行初始化操作

//mm/page_alloc.c
    /* *start_kernel() * |->build_all_zonelists(NULL,NULL) * |->build_all_zonelists_init() * |->__build_all_zonelists(NULL) */
    
    void __ref build_all_zonelists(pg_data_t *pgdat, struct zone *zone)
    { 
    	/* *设置zoen排列方式 * 1.#define ZONELIST_ORDER_DEFAULT 0 --->由系统智能选择Node或Zone在候选列表中的排列顺序 * 2.#define ZONELIST_ORDER_NODE 1 --->按节点顺序依次排列，先排列本地节点的所有zone，再排列其它节点的 * 所有zone * 3.#define ZONELIST_ORDER_ZONE 2 --->按zone类型从高到低依次排列各节点的同相类型zone. */
    	set_zonelist_order();
    
    	if (system_state == SYSTEM_BOOTING) { 
            //完成内存域zonelists的初始化
    		build_all_zonelists_init();
    	} else { 
    		/* we have to stop all cpus to guarantee there is no user of zonelist */
    		stop_machine(__build_all_zonelists, pgdat, NULL);
    		/* cpuset refresh routine should be here */
    	}
    }
    
    static noinline void __init build_all_zonelists_init(void)
    { 
    	__build_all_zonelists(NULL);
    	mminit_verify_zonelist();
    	cpuset_init_current_mems_allowed();
    }
    
    /* return values int ....just for stop_machine() */
    static int __build_all_zonelists(void *data)
    { 
    	int nid;
    	int cpu;
    	pg_data_t *self = data;
    
    #ifdef CONFIG_NUMA
    	memset(node_load, 0, sizeof(node_load));
    #endif
    
    	if (self && !node_online(self->node_id)) { 
    		build_zonelists(self);
    	}
    	/* *遍历了系统中所有的活动结点 * 1.uma系统只有一个节点，因此只需调用一次build_zonelists()函数来处理节点的node_zonelists，若节点pgdat * 包括DMA,NORMAL 2个zone区域，则被函数build_zonelists处理后： * pgdat->node_zonelists[ZONELIST_FALLBACK]->_zonerefs[:] = [ZONE_NORMAL,ZONE_DMA] * 2.对于NUMA系统，需要对每个在线内存节点执行build_zonelists()函数来处理节点的node_zonelists，若节点有3个 * 节点（pgdat0，pgdat1，pgdat2）,每个节点有2个zone区域（DMA,NORMAL），且distance（pgdat0,pgdat1）大于 * distance（pgdat0，pgdat2）,则pgdat0被函数build_zonelists处理后：(ps：按ZONELIST_ORDER_NODE方式排 * 序,distance()表示两节点间的距离，ZONE_A_B表示B节点中的A区域)： * 1).pgdat0->node_zonelists[ZONELIST_FALLBACK]->_zonerefs[:] = * [ZONE_NOMA_0,ZONE_DMA_0,ZONE_NOMA_1,ZONE_DMA_1,ZONE_NOMA_2,ZONE_DMA_2] * 2).pgdat0->node_zonelists[ZONELIST_NOFALLBACK]->_zonerefs[:]= * [ZONE_NORMAL_0,ZONE_DMA_0] * 3.对于NUMA系统，若节点pgdatN在分配时未要求从本地节点进行内存分配时则在ZONELIST_FALLBACK对应的zone列表中 * 按优先级先后选择zone区域.若要求只能从本地节点分配内存就是分配则收到了__GFP_THISNODE标志，则在 * ZONELIST_NOFALLBACK对应的列表中现在zone区域（当然zone区域的选择首先满足gfp分配标志的要求） */
    	for_each_online_node(nid) { 
    		pg_data_t *pgdat = NODE_DATA(nid);
    		//给每个节点的备用内存域进行初始化
    		build_zonelists(pgdat);
    	}
    
    	//对per-CPU变量boot_pageset做了初始化
    	for_each_possible_cpu(cpu) { 
    		setup_pageset(&per_cpu(boot_pageset, cpu), 0);
    
    	}
    
    	return 0;
    }

[http_blog.chinaunix.net_uid-30282771-id-5171166.html]: http://blog.chinaunix.net/uid-30282771-id-5171166.html