multiprocessing.Pool:map_async和imap有什么区别?
我想学习如何使用Python的multiprocessing
包,但我不明白之间的差别map_async
和imap
。我注意到两者map_async
和imap
都是异步执行的。那么我什么时候应该使用另一个呢?我应该如何检索返回的结果map_async
?
我应该使用这样的东西吗?
def test():
result = pool.map_async()
pool.close()
pool.join()
return result.get()
result=test()
for i in result:
print i
-
imap
/imap_unordered
和map
/之间有两个主要区别map_async
:- 他们消耗迭代的方式传递给他们。
- 他们将结果返回给您的方式。
map
通过将iterable转换为列表(假设它还不是列表)来消耗iterable,将其分为多个块,然后将这些块发送到中的worker进程Pool
。与将可迭代项中的每个项目一次在一个进程之间传递相比,将可迭代项拆分为多个块效果更好-
特别是在可迭代项较大的情况下。但是,将迭代器转换为列表以对其进行分块可能会具有很高的内存成本,因为整个列表都需要保留在内存中。imap
不会将您提供的可迭代项变成一个列表,也不会将其分成多个块(默认情况下)。它将一次遍历可迭代的一个元素,并将它们分别发送给工作进程。这意味着您不会浪费将整个可迭代对象转换为列表的内存,但是这也意味着由于缺少分块,大型可迭代对象的性能会降低。但是,可以通过传递chunksize
大于默认值1的参数来缓解这种情况。imap
/imap_unordered
和map
/之间的另一个主要区别map_async
是,使用imap
/
imap_unordered
,您可以在工作人员准备就绪后立即开始接收它们的结果,而不必等待所有工作完成。使用map_async
,AsyncResult
会立即返回an
,但是您必须在处理完所有对象后才能实际从该对象检索结果,此时它会返回与之相同的列表map
(map
实际上是在内部实现的map_async(...).get()
)。无法获得部分结果。您要么拥有整个结果,要么一无所有。imap
并且imap_unordered
都立即返回可迭代对象。使用时imap
,结果将在准备好后立即从Iterable中产生,同时仍保留可迭代输入的顺序。使用imap_unordered
,结果将在准备就绪后立即产生,无论输入可迭代的顺序如何。所以,说你有这个:import multiprocessing import time def func(x): time.sleep(x) return x + 2 if __name__ == "__main__": p = multiprocessing.Pool() start = time.time() for x in p.imap(func, [1,5,3]): print("{} (Time elapsed: {}s)".format(x, int(time.time() - start)))
这将输出:
3 (Time elapsed: 1s) 7 (Time elapsed: 5s) 5 (Time elapsed: 5s)
如果您使用
p.imap_unordered
而不是p.imap
,则会看到:3 (Time elapsed: 1s) 5 (Time elapsed: 3s) 7 (Time elapsed: 5s)
如果使用
p.map
或p.map_async().get()
,则会看到:3 (Time elapsed: 5s) 7 (Time elapsed: 5s) 5 (Time elapsed: 5s)
因此,使用
imap
/imap_unordered
超过的主要原因map_async
是:- 您的可迭代对象足够大,以至于将其转换为列表会导致您用完/使用过多的内存。
- 您希望能够在 所有 结果完成之前开始处理结果。
-
multiprocessing.Pool:map_async 和 imap 有什么区别?
2022-07-28 关注 0 浏览19 1答案
-
multiprocessing.Pool:何时使用 apply、apply_async 或 map?
2022-04-11 关注 0 浏览45 1答案
-
Python多重处理:map和imap有什么区别?
2021-01-29 关注 0 浏览163 1答案
-
Python-multiprocessing.Pool:何时使用apply,apply_async或map?
2021-02-02 关注 0 浏览88 1答案
-
多处理:map与map_async
2021-01-29 关注 0 浏览112 1答案
-
multiprocessing.Pool()比使用普通函数要慢
2021-01-29 关注 0 浏览63 1答案
-
为什么我可以将实例方法传递给multiprocessing.Process,而不是multiprocessing.Pool?
2021-01-29 关注 0 浏览66 1答案
-
为什么在python map()和multiprocessing.Pool.map()中得到不同的答案?
2021-01-29 关注 0 浏览73 1答案
-
Python无法使用multiprocessing.pool分配内存
2021-01-29 关注 0 浏览132 1答案
-
如何在导入的模块中使用multiprocessing.Pool?
2021-01-29 关注 0 浏览84 1答案