国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - scrapy url去重

瀏覽:132日期:2022-08-24 16:35:16

問題描述

請問scrapy是url自動去重的嗎?比如下面這段代碼,為什么運行時start_urls里面的重復url會重復爬取了?

class TestSpider(scrapy.Spider): name = 'test' allowed_domains = ['baidu.com'] start_urls = [’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’,] def parse(self, response):for sel in response.xpath(’//p[@class='grid-list grid-list-spot']/ul/li’): item = TestspiderItem() item[’title’] = sel.xpath(’p[@class='list']/a/text()’)[0].extract() item[’link’] = sel.xpath(’p[@class='list']/a/@href’)[0].extract() yield item

問題解答

回答1:

建一個Url管理器,就不會重復抓取了

回答2:

知道了,改成這樣就可以了。

def start_requests(self):

yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 久久久久久久久久久大尺度免费视频 | 男女视频免费网站 | 欧美性色黄大片在线观看 | 欧美日韩一区二区三 | 欧美aaaaaabbbbb| 国产三级麻豆 | 成人三级视频在线观看 | 日本一区视频在线观看 | 一级真人毛片 | 欧美一区二区三区久久综合 | 欧美一级黄视频 | 亚洲产国偷v产偷v自拍涩爱 | 国产精品a人片在线观看 | 五月六月伊人狠狠丁香网 | 亚洲高清视频在线 | 国产一区二区三区国产精品 | 免费看香港一级毛片 | 男女性高清爱潮视频免费观看 | 自拍偷自拍亚洲精品10p | 国产精品久久久久亚洲 | 欧美日韩在线观看一区二区 | 国产精品亚洲成在人线 | 一区二区三区在线 | 国产成人综合久久精品亚洲 | 一级做a爱过程免费视频时看 | 人碰人碰人成人免费视频 | 最近中文在线中文 | 男人的天堂中文字幕 | 特级a欧美孕妇做爰片毛片 特级a欧美做爰片毛片 | 久久精品国产400部免费看 | 真实国产乱人伦在线视频播放 | 越南高清幻女bbwxxxx | 不卡一区二区在线观看 | 高清午夜毛片 | 久久爱青青草 | 国产一级免费片 | 国产步兵社区视频在线观看 | 欧美人一级淫片a免费播放 欧美人与z0z0xxxx | 日本精品一区二区三区在线视频一 | 亚洲欧美视频一级 | 中文字幕亚洲欧美日韩不卡 |