国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - scrapy爬蟲不能循環運行?

瀏覽:103日期:2022-07-28 11:08:58

問題描述

scrapy只能爬取一個頁面上的鏈接,不能持續運行爬完全站,以下是代碼,初學求指導。

class DbbookSpider(scrapy.Spider): name = 'imufe' allowed_domains = [’http://www.imufe.edu.cn/’] start_urls=(’http://www.imufe.edu.cn/main/dtxw/201704/t20170414_127035.html’) def parse(self, response):item = DoubanbookItem()selector = scrapy.Selector(response)print(selector)books = selector.xpath(’//a/@href’).extract()link=[]for each in books: each=urljoin(response.url,each) link.append(each)for each in link: item[’link’] = each yield itemi = random.randint(0,len(link)-1)nextPage = link[i]yield scrapy.http.Request(nextPage,callback=self.parse)

問題解答

回答1:

是不是爬得太快讓封了

標簽: Python 編程
相關文章:
主站蜘蛛池模板: 一级视频在线播放 | 欧美japanese孕交| 女人张开腿给人桶免费视频 | 手机看片久久青草福利盒子 | 中文字幕在线观看一区二区 | 日韩欧美一区二区三区免费观看 | 国产精品午夜波多野结衣性色 | 美国一级毛片oo | 日韩特级毛片 | 在线观看香蕉免费啪在线观看 | 98国内自拍在线视频 | 在线播放高清国语自产拍免费 | 99精品久久久久久久免费看蜜月 | 女女同性一区二区三区四区 | 一级片免| 日韩欧美精品一区二区三区 | 91精品国产乱码久久久久久 | 国产精品国产精品国产三级普 | 成 人 黄 色 大 片 | 国产精品 色| 亚洲人成日本在线观看 | 久久精品一级 | 在线国产一区 | 国产精品99 | 欧洲精品一区二区三区在线观看 | 日产一一到六区网站免费 | 国产高清三级 | 国产伦精一区二区三区 | 欧美成人看片黄a免费 | 国产真实乱子伦精品 | 91日本在线视频 | 亚洲一区欧美 | 美国毛片免费观看 | 港台三级在线观看 | 亚洲 欧美 日韩 丝袜 另类 | 久草在线在线 | 欧美三级黄色大片 | 日本肥老妇色xxxxx日本老妇 | 色噜噜亚洲男人的天堂 | 99精品免费久久久久久久久日本 | 性欧美精品久久久久久久 |