Python多進程編程常用方法解析
python中的多線程其實并不是真正的多線程,如果想要充分地使用多核CPU資源,在python中大部分情況需要使用多進程。python提供了非常好用的多進程包Multiprocessing,只需要定義一個函數,python會完成其它所有事情。借助這個包,可以輕松完成從單進程到并發執行的轉換。multiprocessing支持子進程、通信和共享數據、執行不同形式的同步,提供了Process、Queue、Pipe、LocK等組件
一、Process
語法:Process([group[,target[,name[,args[,kwargs]]]]])
參數含義:target表示調用對象;args表示調用對象的位置參數元祖;kwargs表示調用對象的字典。name為別名,groups實際上不會調用。
方法:is_alive():
join(timeout):
run():
start():
terminate():
屬性:authkey、daemon(要通過start()設置)、exitcode(進程在運行時為None、如果為-N,表示被信號N結束)、name、pid。其中daemon是父進程終止后自動終止,且自己不能產生新的進程,必須在start()之前設置。
1.創建函數,并將其作為單個進程
from multiprocessing import Processdef func(name): print('%s曾經是好人'%name)if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) p.start() #start()通知系統開啟這個進程
2.創建函數并將其作為多個進程
from multiprocessing import Processimport random,timedef hobby_motion(name): print(’%s喜歡運動’% name) time.sleep(random.randint(1,3))def hobby_game(name): print(’%s喜歡游戲’% name) time.sleep(random.randint(1,3))if __name__ == '__main__': p1 = Process(target=hobby_motion,args=(’付婷婷’,)) p2 = Process(target=hobby_game,args=(’科比’,)) p1.start() p2.start()
執行結果:
付婷婷喜歡運動科比喜歡游戲
3.將進程定義為類(開啟進程的另一種方法,并不是很常用)
from multiprocessing import Processclass MyProcess(Process): def __init__(self,name): super().__init__() self.name = name def run(self): #start()時,run自動調用,而且此處只能定義為run。 print('%s曾經是好人'%self.name)if __name__ == '__main__': p = MyProcess(’kebi’) p.start() #將Process當作父類,并且自定義一個函數。
4.daemon程序對比效果
不加daemon屬性
import timedef func(name): print('work start:%s'% time.ctime()) time.sleep(2) print('work end:%s'% time.ctime())if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) p.start() print('this is over')#執行結果this is overwork start:Thu Nov 30 16:12:00 2017work end:Thu Nov 30 16:12:02 2017
加上daemon屬性
from multiprocessing import Processimport timedef func(name): print('work start:%s'% time.ctime()) time.sleep(2) print('work end:%s'% time.ctime())if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) p.daemon = True #父進程終止后自動終止,不能產生新進程,必須在start()之前設置 p.start() print('this is over')#執行結果this is over
設置了daemon屬性又想執行完的方法:
import timedef func(name): print('work start:%s'% time.ctime()) time.sleep(2) print('work end:%s'% time.ctime())if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) p.daemon = True p.start() p.join() #執行完前面的代碼再執行后面的 print('this is over')#執行結果work start:Thu Nov 30 16:18:39 2017work end:Thu Nov 30 16:18:41 2017this is over
5.join():上面的代碼執行完畢之后,才會執行后i面的代碼。
先看一個例子:
from multiprocessing import Processimport time,os,randomdef func(name,hour): print('A lifelong friend:%s,%s'% (name,os.getpid())) time.sleep(hour) print('Good bother:%s'%name)if __name__ == '__main__': p = Process(target=func,args=(’kebi’,2)) p1 = Process(target=func,args=(’maoxian’,1)) p2 = Process(target=func,args=(’xiaoniao’,3)) p.start() p1.start() p2.start() print('this is over')
執行結果:
this is over #最后執行,最先打印,說明start()只是開啟進程,并不是說一定要執行完A lifelong friend:kebi,12048A lifelong friend:maoxian,8252A lifelong friend:xiaoniao,6068Good bother:maoxian #最先打印,第二位執行Good bother:kebi Good bother:xiaoniao
添加join()
from multiprocessing import Processimport time,os,randomdef func(name,hour): print('A lifelong friend:%s,%s'% (name,os.getpid())) time.sleep(hour) print('Good bother:%s'%name)start = time.time()if __name__ == '__main__': p = Process(target=func,args=(’kebi’,2)) p1 = Process(target=func,args=(’maoxian’,1)) p2 = Process(target=func,args=(’xiaoniao’,3)) p.start() p.join() #上面的代碼執行完畢之后,再執行后面的 p1.start() p1.join() p2.start() p2.join() print('this is over') print(time.time() - start)#執行結果A lifelong friend:kebi,14804Good bother:kebiA lifelong friend:maoxian,11120Good bother:maoxianA lifelong friend:xiaoniao,10252 #每個進程執行完了,才會執行下一個Good bother:xiaoniaothis is over6.497815370559692 #2+1+3+主程序執行時間
改變一下位置
from multiprocessing import Processimport time,os,randomdef func(name,hour): print('A lifelong friend:%s,%s'% (name,os.getpid())) time.sleep(hour) print('Good bother:%s'%name)start = time.time()if __name__ == '__main__': p = Process(target=func,args=(’kebi’,2)) p1 = Process(target=func,args=(’maoxian’,1)) p2 = Process(target=func,args=(’xiaoniao’,3)) p.start() p1.start() p2.start() p.join() #需要2秒 p1.join() #到這時已經執行完 p2.join() #已經執行了2秒,還要1秒 print('this is over') print(time.time() - start)#執行結果A lifelong friend:kebi,13520A lifelong friend:maoxian,11612A lifelong friend:xiaoniao,17064 #幾乎是同時開啟執行Good bother:maoxianGood bother:kebiGood bother:xiaoniaothis is over3.273620367050171 #以最長時間的為主
6.其它屬性和方法
from multiprocessing import Processimport timedef func(name): print('work start:%s'% time.ctime()) time.sleep(2) print('work end:%s'% time.ctime())if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) p.start() p.terminate() #將進程殺死,而且必須放在start()后面,與daemon的功能類似#執行結果this is over
from multiprocessing import Processimport timedef func(name): print('work start:%s'% time.ctime()) time.sleep(2) print('work end:%s'% time.ctime())if __name__ == '__main__': p = Process(target=func,args=(’kebi’,)) # p.daemon = True print(p.is_alive()) p.start() print(p.name) #獲取進程的名字 print(p.pid) #獲取進程的pid print(p.is_alive()) #判斷進程是否存在 print('this is over')
以上就是本文的全部內容,希望對大家的學習有所幫助,也希望大家多多支持好吧啦網。
相關文章: