文章詳情頁
python - pyspider 定時(shí)爬取問題
瀏覽:131日期:2022-07-14 10:37:31
問題描述
在寫爬蟲的時(shí)候,發(fā)現(xiàn) 在代碼中設(shè)置了 every 之后,21號爬取了一次之后,今天看 result 沒有更新,那個(gè) lastcrawltime 依舊是 21號的。請問是不是我的參數(shù)設(shè)置的不正確?
問題解答
回答1:你貼的這個(gè) task 的圖,是什么任務(wù)的?
貼的是 detail_page 的任務(wù)的
題主給 index_page 設(shè)置了小于 cronjob 間隔的時(shí)間。然而沒有給 detail_page 設(shè)置。這樣 detail_page 是不會被重新調(diào)度的
project 隊(duì)列狀態(tài),最近活動任務(wù)是怎樣的?
回答2:有可能是 every 和 age 不匹配。如果 age 沒問題的話,說實(shí)話這屬于疑難雜癥了,我也經(jīng)常遇到,我都是去 taskdb 把相應(yīng)的表清空,然后重啟 pyspider 重新運(yùn)行項(xiàng)目
相關(guān)文章:
1. 注冊賬戶文字不能左右分離2. html - vue項(xiàng)目中用到了elementUI問題3. 對mysql某個(gè)字段監(jiān)控的功能4. javascript - 數(shù)組的過濾和渲染5. javascript - table列過多,有什么插件可以提供列排序和選擇顯示列的功能6. python - 使用readlines()方法讀取文件內(nèi)容后,再用for循環(huán)遍歷文件與變量匹配時(shí)出現(xiàn)疑難?7. showpassword里的this 是什么意思?代表哪個(gè)元素8. html5 - ElementUI table中el-table-column怎么設(shè)置百分比顯示。9. python - 為什么正常輸出中文沒有亂碼,zip函數(shù)之后出現(xiàn)中文編程unicode編碼的問題,我是遍歷輸出的啊。10. JavaScript事件
排行榜

熱門標(biāo)簽