文章詳情頁
python - scrapy 處理 文章 分頁的內(nèi)容
瀏覽：82日期：2022-08-03 16:15:10
問題描述
如一篇文章有2-3頁，然后想把這些內(nèi)容頁爬下來，拼接成一頁，然后再放入數(shù)據(jù)庫。文章url如：article_1.html,article_2.htmlitem有：item[’title’],item[’content’]而item[’content’]就是拼接成一頁的內(nèi)容。大概怎么寫呢？
問題解答
回答1：找到分頁接口url
回答2：找到那個下一頁的鏈接，加入到爬取url列表中
回答3：可以在rules里面寫正則自動掃描符合的url
相關(guān)文章：
1. css3 隱藏文本2. 在windows下安裝docker Toolbox 啟動Docker Quickstart Terminal 失敗！3. Docker for Mac 創(chuàng)建的dnsmasq容器連不上/不工作的問題4. javascript - 前端如何通過ajax和node.js交互？5. css - input元素的time控件無法選擇6. dockerfile - [docker build image失敗- npm install]7. python - 多態(tài)調(diào)用方法時卻顯示bound method...8. javascript - vue-router怎么不能實現(xiàn)跳轉(zhuǎn)呢9. python 字符串匹配問題10. javascript - CSS圖片輪播顯示問題
排行榜
熱門標(biāo)簽
網(wǎng)公網(wǎng)安備