文章詳情頁
python - 如何解決queue中同一個參數(shù)被多個線程同時調(diào)用？
瀏覽：120日期：2022-08-18 15:18:47
問題描述
本人想實現(xiàn)一個基礎(chǔ)的多線程爬蟲，初步想法是篩選目錄中多個電影標(biāo)題是否有關(guān)鍵字，沒有的話就進入到詳情頁中查找電影類別中是否有關(guān)鍵字。下面是一部分代碼:
executor = ThreadPoolExecutor(max_workers=5) #Future模塊的多線程executor.map(get_page,whole) #get_page()為篩選標(biāo)題的函數(shù)time.sleep(5)while not que.empty(): que_data = que.get() filter(que_data) #filter()為篩選分類關(guān)鍵字的函數(shù),但每次五個線程同時訪問同一個url
但現(xiàn)在每次多個線程同時調(diào)用queue中的同一個url，請問有什么解決辦法嗎
問題解答
回答1：專門用一個線程讀取queue中的url，然后分配給某個線程
對該queue的訪問加鎖
相關(guān)文章：
1. php多任務(wù)倒計時求助2. 數(shù)組排序，并把排序后的值存入到新數(shù)組中3. 默認輸出類型為json，如何輸出html4. python中def定義的函數(shù)加括號和不加括號的區(qū)別？5. javascript - 有適合開發(fā)手機端Html5網(wǎng)頁小游戲的前端框架嗎？6. PHP訂單派單系統(tǒng)7. python的正則怎么同時匹配兩個不同結(jié)果？8. javascript - jquery怎么讓a標(biāo)簽跳轉(zhuǎn)后保持tab的樣式9. mysql - sql 左連接結(jié)果union右連接結(jié)果，導(dǎo)致重復(fù)性計算怎么解決？10. javascript - charles map remote映射問題
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備