文章詳情頁
python - scrapy抓取知網response的內容重復
瀏覽：85日期：2022-06-27 08:47:44
問題描述
遍歷請求翻頁的url
for i in range(3): yield Request('http:xx/page/%s'%str(i),callback=self.parse_page)
結果response請求成功 但是每次內容都一樣的沒變化都是第一次請求時的內容，但是用postman分別請求分頁的url就沒有這問題。= = 是被ban了嗎 之前就不會這樣
問題解答
回答1：那就要分析一下用postman或者瀏覽器訪問時請求的header頭和用scrapy請求頭有什么區別
回答2：被反爬識別到了
回答3：看下控制臺打印的log，看看是否正確抓取了下一頁2017-06-29 09:26:13 [scrapy] DEBUG: Scraped from <200 http:xx/page/x>,注意最后一個x(http:xx/page/x)是否是變化的
相關文章：
1. angular.js - angular做點擊購買時的遮罩層2. android - NavigationView 的側滑菜單中如何保存新增項（通過程序添加）3. tp5 不同控制器中的變量調用問題4. 提示語法錯誤語法錯誤: unexpected ’abstract’ (T_ABSTRACT)5. 連續的數值怎么用分組顯示，求大神指導，求各位老師幫忙6. 關于thinkphp 5.1中，ajax提交數據url的格式寫法，加花括號就出錯，請老師指點7. php7.3.4中怎么開啟pdo驅動8. 老師 我是一個沒有學過php語言的準畢業生 我希望您能幫我一下9. USE關鍵字10. http://run.php.cn/在線PHP程序運行結果不正確
排行榜
網公網安備