国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - scrapy url去重

瀏覽:132日期:2022-08-24 16:35:16

問題描述

請問scrapy是url自動去重的嗎?比如下面這段代碼,為什么運行時start_urls里面的重復url會重復爬取了?

class TestSpider(scrapy.Spider): name = 'test' allowed_domains = ['baidu.com'] start_urls = [’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, ’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’,] def parse(self, response):for sel in response.xpath(’//p[@class='grid-list grid-list-spot']/ul/li’): item = TestspiderItem() item[’title’] = sel.xpath(’p[@class='list']/a/text()’)[0].extract() item[’link’] = sel.xpath(’p[@class='list']/a/@href’)[0].extract() yield item

問題解答

回答1:

建一個Url管理器,就不會重復抓取了

回答2:

知道了,改成這樣就可以了。

def start_requests(self):

yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)yield scrapy.Request(’http://baike.baidu.com/fenlei/%E5%A8%B1%E4%B9%90%E4%BA%BA%E7%89%A9’, self.parse)

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 亚洲国产一区二区在线 | 亚洲综色 | 日韩国产成人资源精品视频 | 一级毛片不卡片免费观看 | 日本欧美在线视频 | 深爱激情五月网 | 欧美午夜在线观看理论片 | 成人精品一区二区三区中文字幕 | 国产精品99久久免费观看 | 天堂8中文在线最新版在线 天堂8资源8在线 | 亚洲人成亚洲人成在线观看 | 日本一级毛片视频无遮挡免费 | 久久综合久美利坚合众国 | 成人精品一区二区三区中文字幕 | 免费亚洲视频 | 久久一本色道综合 | 538prom精品视频在放免费 | 久久狠狠色狠狠色综合 | 国产精品日本不卡一区二区 | 手机免费看a | 三级在线国产 | 欧美日韩亚洲v在线观看 | 国产精品一区二区久久精品涩爱 | 国产欧美日韩综合一区二区三区 | 久久香蕉国产线看观看精品yw | 久久爱噜噜噜噜久久久网 | 国产午夜小视频 | 国产精品久久久久久久久久久威 | 国产精品亚洲综合 | 国产精品久久久久久久久久久搜索 | 国产精品九九久久一区hh | 性夜黄a爽爽免费视频国产 性夜影院爽黄a爽免费看网站 | 久久综合久久自在自线精品自 | 精品三级网站 | 麻豆影音| 中文字幕一级片 | 日韩一级精品久久久久 | 久久国产视频一区 | 福利社在线视频 | 嫩草影院ncyy在线观看 | 久久免费看 |