文章詳情頁
python - 如何解決程序運行太久之后被操作系統(tǒng)暫停的情況?
瀏覽:171日期:2022-06-29 14:48:35
問題描述
我有幾個python爬蟲程序,需要持續(xù)不間斷運行,但是每次都是運行了兩天之后變得無響應,每次都是阻塞在time.sleep(60)的地方,但是進程又沒有死掉,在控制臺輸入Ctrl C都不能退出程序,只能在任務管理器里強制退出才行。
請問這是由什么原因?qū)е碌模恳约叭绾谓鉀Q這個問題?
先謝謝各位前輩了!
問題解答
回答1:問題分析建議:
linux: 可以嘗試通過strace命令追蹤進程狀態(tài), 根據(jù)輸出的內(nèi)容做分析,或者通過proc對應目錄的文件對進程的各項指標做分析! Ctrl-C無效,懷疑進程進入不可中斷的睡眠,具體還得看實際獲取的數(shù)據(jù)才有可能知道
windows: 通過任務管理器找到對應的進程, 右鍵->創(chuàng)建轉(zhuǎn)儲文件, 分析該轉(zhuǎn)儲文件看能否找出原因.
爬蟲程序: 自身對爬取的進度,做詳細的日志, 不管是鏈接,還是遇到的異常,最好都記錄下來,以便得知具體停止的時間, 和停止時,爬取的進度, 下次可以先針對這個進度再去深入分析.
回答2:linux系統(tǒng)的話試試用crontab去做定時任務windows用任務計劃
相關文章:
1. 數(shù)據(jù)庫 - Mysql的存儲過程真的是個坑!求助下面的存儲過程哪里錯啦,實在是找不到哪里的問題了。2. ios - 類似微博首頁,一張圖的時候是如何確定圖大小的?3. python - Django有哪些成功項目?4. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)5. Python中使用超長的List導致內(nèi)存占用過大6. node.js - 微信小程序websocket連接問題7. javascript - vue過渡效果 css過渡 類名的先后順序8. javascript - 我是做web前端的,公司最近有一個項目關于數(shù)據(jù)統(tǒng)計的!9. javascript - 如何使用loadash對[object,object,object]形式的數(shù)組進行比較10. javascript - vuejs+elementui 購物車價格計算,點擊加減號修改數(shù)量總價都不會改變,但是計算執(zhí)行了
排行榜

熱門標簽