数据挖掘下的内存处理程序运行数据卡顿的方法：虚存扩展

末蓝、 2021-10-15 12:21 229阅读 0赞

近期学习汤小丹老师的《计算机操作系统》收获颇多，联想到之前有朋友说：Python比R语言好，原因是Python能处理的数据量比R语言大，在我看来二者并没有谁好谁差，只是看谁能用的好，谁用的频率大而已。

当数据量较大的时候，想是得需要借助多台计算机并行跨节点的方式才能处理。例如，目前已经有了PySpark 、SparkR等的分布式处理方法。

### 情况描述 ###

1.使用软件对数据进行计算，常常伴随会出现执行时间长，数据卡顿的现象。

2.计算机执行程序的时候，通常在内存保存待处理的数据。程序是为了实现一个特定的目标而预先设计的一组可操作的工作步骤，就可以称为一个程序。对于计算机系统，程序就是系统可以识别的一组有序的指令。

3.这组指令指挥这计算机系统工作。对于计算机系统，简单的说，程序就是系统可以识别的一组有序的指令。程序存储在磁盘上，被加载到内存中，计算机系统从内存中逐条读取指令并执行。

**因此数据卡顿这个原因是由于数据计算内存在进行控制，数据量的计算是在内存中发生，那内存的数量是一定的，怎么可能不会卡顿呢？**

如何对数据计算过程中的卡顿进行一些改善，于是引入了计算机的虚存概念。

### 虚存的概念 ###

\*\*把内存与外存有机的结合起来使用，从而得到一个容量很大的“内存”，这是虚拟内存。\*\*进程不完全载入，就叫虚存。可以分成按需取页和按需取段两种方式。

如果用户编制程序时，可以不考虑内存的实际容量，即允许程序中的逻辑地址空间大于内存的绝对地址空间，那么，会使用户感到极大的方便。存储管理利用磁盘作为内存的后援，当一个大型的程序要装入内存时，仅把当前需要的部分装入，其余部分暂留在磁盘上。程序执行中要用到不在内存中的信息时，再由操作系统将其装入内存。如果内存空间不够，则可由操作系统采用覆盖技术。这样，用户就感到计算机系统提供了容量极大的内存空间。实际上，这个容量极大的内存空间不是物理意义上的内存，而是操作系统中的一种存储管理方式，这种方式为用户提供的是一个虚拟的存储器。虚拟存储器比实际内存的容量大，起到了扩充内存空间的作用。

### 虚存的实际应用 ###

以R语言为例，查看系统中对R语言能够处理的数据分配内存限制进行查看，使用memory.limit()，得到R语言的内存限制为8073，约为7.8G，和我计算机的最大内存接近，R语言在使用内存室，并没有多大的限制。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70]

此时，R语言的内存使用是7.8G，这和系统的内存几乎相同，是不是意味着，内存没有办法进行增加？此时，可以进一步借助虚拟内存对R语言的内存进行扩增。输入memory.limit(102400)，就直接把系统分配给R语言的内存使用上限调到100G。如下所示：  
![在这里插入图片描述][20190814094944305.png]

那这样操作是不是合理呢？并不是的，还需要在windows中对数据的虚拟内存进行适当上限的调整才可以。  
![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70 1]  
对以上进行设置后，重启计算机，默认的虚拟内存就成功了。

**不过再用R语言处理数据，需要每次新打开R语言之前都要运行memory.limit(102400)一下。**

使用memory.size()查看现在的workspace的内存使用情况和之前的内存情况是否相同。

memory.limit()
    memory.limit(102400)
    memory.size()

![在这里插入图片描述][watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70 2]

当再次使用该软件对数据进行分析和运算时，试试看，数据的处理速度，可谓之：千里江陵~~

[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70]: /images/20211015/c378f74d3a054bbb8471a4006fb3579a.png
[20190814094944305.png]: /images/20211015/cc0548f6febf412c9d2ce99ec566135e.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70 1]: /images/20211015/378f3236970144ab8ac8363b13c67c79.png
[watermark_type_ZmFuZ3poZW5naGVpdGk_shadow_10_text_aHR0cHM6Ly9ibG9nLmNzZG4ubmV0L3RhbmRlbGlu_size_16_color_FFFFFF_t_70 2]: /images/20211015/715355c4a76d4d0eb4c4a8f7de3fba3e.png