多进程 for 循环中如何保证所有子进程完成再执行主进程代码?
python的多进程中提供了 join 方法来等待子进程完成。在 for 循环中 join 进程时,存在一种情况,即当循环到第 n 个进程时,如果第 n 个进程已经执行完毕,那么此时可能打印出主进程结束的语句,而不是继续等待剩余进程完成。
解决方法
这个问题产生于 for 循环的非阻塞特性。当 start 方法调用时,子进程并没有被运行,而是创建了一个子进程对象。随后 for 循环会持续执行,循环到第 n 个进程时,第 n 个进程可能已经执行完毕,但此时尚未执行 join,所以 join 方法并不会阻塞。如果在 for 循环内打印主进程结束的语句,则可能会执行该语句,而不会等待剩余进程完成。
解决这一问题的方法是,在 for 循环内立即执行 join 方法,确保在循环到第 n 个进程时,该进程已经完成执行,然后才执行主进程的后续代码。修改后的代码如下:
import os from multiprocessing import Process def func(num): print('in func', num, os.getpid(), os.getppid()) if __name__ == '__main__': print('in main', os.getpid(), os.getppid()) p_l = [] for i in range(10): p = Process(target=func, args=(i,)) p.start() p_l.append(p) for p in p_l: p.join() print('主进程 的 代码执行结束了')
在修改后的代码中,for 循环内立即执行 join,确保在循环到第 n 个进程时,该进程已经完成执行,再执行主进程的后续代码。因此,将不会打印主进程结束的语句,而是等待所有进程执行完毕后再打印。