python用于数据处理真的那么强大嘛_用于大数据处理的python

╰半夏微凉° 2023-01-08 08:08 78阅读 0赞

正如在评论中所暗示的，multiprocessing模块就是您要寻找的。线程对您没有帮助，因为全局解释器锁(GIL)将一次只能执行一个Python线程。特别是，我要看看multiprocessing pools。这些对象为您提供了一个接口，使一个子进程池与主进程并行工作，您可以稍后返回并检查结果。在

您的示例片段可能如下所示：import multiprocessing

X = \["a","b"\]

Y = \["c","d","e"\]

Z= \["f","g"\]

pool = multiprocessing.pool() \# by default, this will create a number of workers equal to

\# the number of CPU cores you have available

combination\_list = \[\] \# create a list to store the combinations

for A in itertools.combinations(X,1):

for B in itertools.combinations(Y,2):

for C in itertools.combinations(Z, 2):

D = A + B + C

combination\_list.append(D) \# append this combination to the list

results = pool.map(simulation\_function, combination\_list)

\# simulation\_function is the function you're using to actually run your

\# simulation - assuming it only takes one parameter: the combination

对pool.map的调用是阻塞的-这意味着一旦调用它，主进程中的执行将停止，直到所有模拟完成，但它是并行运行的。当它们完成时，无论模拟函数返回什么，都将在results中可用，其顺序与输入参数在combination\_list中的顺序相同。在

如果您不想等待它们，也可以在池中使用apply\_async，并存储结果以备以后查看：

^\{pr2\}$

如果使用此结构，result\_list将充满multiprocessing.AsyncResult objects，这允许您检查它们是否准备好使用result.ready()，如果准备好了，则使用result.get()检索结果。这种方法将导致在计算组合时立即启动模拟，而不是等到所有模拟计算完毕后才开始处理它们。缺点是管理和检索结果要复杂一些。例如，您必须确保结果已经准备好或者准备好捕捉异常，您需要准备好捕捉可能在worker函数中引发的异常，等等。这些警告在文档中有很好的解释。在

如果计算组合实际上并不需要很长时间，并且您不介意主进程在它们都准备好之前停止，那么我建议使用pool.map方法。在

发表评论取消回复

表情：

评论列表（有 0 条评论，78人围观）

还没有评论，来说两句吧...

相关阅读

相关 Pandas是用于数据操作和分析的强大库

Python中有许多流行的统计分析库，下面是其中一些主要的库及其主要用法： 1. NumPy：用途：NumPy是Python中的数值计算库，提

客官°小女子只卖身不卖艺/ 2023年10月12日 16:56/ 0 赞/ 12 阅读

相关用于数据分析的Python – Pandas

大熊猫 (Pandas) Pandas is an open-source library built on top of NumPy Panda

缺乏、安全感/ 2023年03月05日 12:43/ 0 赞/ 43 阅读

相关 python用于数据处理真的那么强大嘛_用于大数据处理的python

正如在评论中所暗示的，multiprocessing模块就是您要寻找的。线程对您没有帮助，因为全局解释器锁(GIL)将一次只能执行一个Python线程。特别是，我要看看mult

╰半夏微凉°/ 2023年01月08日 08:08/ 0 赞/ 79 阅读

相关 Apache Spark™是用于大规模数据处理的统一分析引擎

目录简介特点性能特点基本原理计算方法速度使用方便概论无处不在社区贡献者入门 -------------------- 文

拼搏现实的明天。/ 2022年12月02日 15:09/ 0 赞/ 93 阅读

相关 python处理csv数据

import csv 从文件读取 reader = csv.reader(file(srcFilePath,'rb')) f

布满荆棘的人生/ 2022年07月15日 14:22/ 0 赞/ 191 阅读

相关 Python大数据处理模块Pandas

Pandas使用一个二维的数据结构DataFrame来表示表格式的数据，相比较于Numpy，Pandas可以存储混合的数据结构，同时使用NaN来表示缺失的数据，而不用像Nump

朱雀/ 2022年07月12日 04:06/ 0 赞/ 411 阅读

相关 IAR 用于调试的HardFault异常处理

用于调试的hardfault 在编写STM32程序代码时由于自己的粗心会发现有时候程序跑着跑着就进入了 HardFault\_Handler中断，按照经验来说进入Har

亦凉/ 2022年05月15日 08:07/ 0 赞/ 958 阅读

相关 cnn用于自然语言处理

转自：[https://blog.csdn.net/diye2008/article/details/53105652][https_blog.csdn.net_diye200

末蓝、/ 2022年05月14日 03:37/ 0 赞/ 159 阅读

相关 speechpy模块中用于信号处理操作的处理模块部分 PYTHON

后处理用于信号处理操作的处理模块。该模块演示了信号处理功能的文档，这些文档是包中的内部计算所必需的。 <table> <tbody> <tr>

爱被打了一巴掌/ 2022年02月15日 13:09/ 0 赞/ 188 阅读

相关 Python工具 | 10个用于处理日期和时间的 Python 库

1️⃣arrow 更好的 Python 日期时间操作类库。 [官网][Link 1] 2️⃣Chronyk Python 3 的类库，用于解析手写格式的时

向右看齐/ 2022年01月11日 05:03/ 0 赞/ 583 阅读