文章詳情頁
python - 爬取某網(wǎng)站時需要瀏覽器刷新一次才能返回真實的頁面數(shù)據(jù)？
瀏覽：109日期：2022-08-10 17:31:34
問題描述
請求所需參數(shù)全部帶上了，并且已帶上cookies,已修改header，拿到的數(shù)據(jù)是提示刷新的HTML，如圖：
原網(wǎng)頁是動態(tài)加載的瀑布流，即往不斷下拉就不斷有內(nèi)容呈現(xiàn)出來，靜候大神，目前采用scrapy框架，暫時還不想上selenium+phantomjs，太重了
問題解答
回答1：動態(tài)加載的數(shù)據(jù)你應(yīng)該找ajax api請求，而不是在網(wǎng)頁找，工欲善其事必先利其器，善用 F12。
回答2：這種情況比抓取一個代理ip網(wǎng)頁，使用cookie但是報錯好解決多了＝＝，你完全可以判斷當(dāng)前頁面內(nèi)容然后進行模擬刷新～ 重要的是保持會話。
如果還不行的話，可以加referer再試一試
相關(guān)文章：
1. 獲取上次登錄ip的原理是啥？2. 為什么點擊登陸沒反應(yīng)3. mysql報錯 unknown column ’a.plat’ in ON clause4. fetch_field_direct()報錯5. phpstudy v8打開數(shù)據(jù)庫就出錯，而phpstudy 2018不會6. 在視圖里面寫php原生標(biāo)簽不是要迫不得已的情況才寫嗎7. 求救一下，用新版的phpstudy，數(shù)據(jù)庫過段時間會消失是什么情況？8. 為什么說非對象調(diào)用成員函數(shù)fetch()9. 沒有輸出結(jié)果，也沒有報錯信息10. 請問下tp6框架的緩存在哪里設(shè)置，或者說關(guān)閉?
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備