文章詳情頁
java - QQ空間爬蟲總是被封號
瀏覽：123日期：2022-09-24 17:58:56
問題描述
抓取QQ空間說說但是 總是被封號 可以給提出一些解決方案嗎？如何既可以快速 又可以不封號！謝謝啦！
代碼在github上地址https://github.com/20100507/Q...
問題解答
回答1：反爬蟲策略：
1、識別請求頭，判斷是否是爬蟲2、記錄請求頻率、路徑和訪問ip，判斷是否是爬蟲3、請求參數中進行加密或復雜加密，增加爬蟲開發的難度（如淘寶的ua算法）4、復雜驗證碼
應對反爬蟲策略：
1、在爬取過程中，適當切換代理ip2、適當降低請求頻率3、請求頭模擬成瀏覽器的請求，也就是用戶正常訪問的請求
你的問題，主要可以通過定時切換ip，或一旦被封再切換ip，來解決，可以考慮去“站大爺”等代理ip網站付費獲取，或者去多用幾個電信賬號，用ASDL撥號來切換ip。
標簽：
qq
相關文章：
1. python - Django有哪些成功項目？2. 實現bing搜索工具urlAPI提交3. Python從URL中提取域名4. MySQL主鍵沖突時的更新操作和替換操作在功能上有什么差別(如圖)5. 關于mysql聯合查詢一對多的顯示結果問題6. 數據庫 - Mysql的存儲過程真的是個坑！求助下面的存儲過程哪里錯啦，實在是找不到哪里的問題了。7. node.js - 微信小程序websocket連接問題8. 直接打字符不可以嗎？>和>有區別嗎9. node.js - windows10下的npm全局路徑的復原或者將npm徹底刪除？10. Python中使用超長的List導致內存占用過大
排行榜
網公網安備