文章詳情頁
python - 如何解決queue中同一個參數(shù)被多個線程同時調(diào)用？
瀏覽：90日期：2022-08-18 15:18:47
問題描述
本人想實現(xiàn)一個基礎(chǔ)的多線程爬蟲，初步想法是篩選目錄中多個電影標題是否有關(guān)鍵字，沒有的話就進入到詳情頁中查找電影類別中是否有關(guān)鍵字。下面是一部分代碼:
executor = ThreadPoolExecutor(max_workers=5) #Future模塊的多線程executor.map(get_page,whole) #get_page()為篩選標題的函數(shù)time.sleep(5)while not que.empty(): que_data = que.get() filter(que_data) #filter()為篩選分類關(guān)鍵字的函數(shù),但每次五個線程同時訪問同一個url
但現(xiàn)在每次多個線程同時調(diào)用queue中的同一個url，請問有什么解決辦法嗎
問題解答
回答1：專門用一個線程讀取queue中的url，然后分配給某個線程
對該queue的訪問加鎖
相關(guān)文章：
1. android - NavigationView 的側(cè)滑菜單中如何保存新增項（通過程序添加）2. mysql服務(wù)無法啟動1067錯誤，誰知道正確的解決方法？3. php - 第三方支付平臺在很短時間內(nèi)多次異步通知,訂單多次確認收款4. php7.3.4中怎么開啟pdo驅(qū)動5. jquery清除input type為password？6. 這段代碼既不提示錯誤也看不到結(jié)果，請老師明示錯在哪里，謝謝！7. tp5 不同控制器中的變量調(diào)用問題8. 老師 我是一個沒有學(xué)過php語言的準畢業(yè)生 我希望您能幫我一下9. ueditor上傳服務(wù)器提示后端配置項沒有正常加載，求助！！！！！10. 提示語法錯誤語法錯誤: unexpected ’abstract’ (T_ABSTRACT)
排行榜
熱門標簽
網(wǎng)公網(wǎng)安備