国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

python - Scrapy存在內(nèi)存泄漏的問(wèn)題。

瀏覽:107日期:2022-06-27 09:37:33

問(wèn)題描述

再編寫爬蟲的時(shí)候,總是跑了一段時(shí)間(不會(huì)超過(guò)12個(gè)小時(shí))就會(huì)被OOM掉。很是無(wú)奈!!!根據(jù)官方的文檔, 使用這個(gè)prefs()但是實(shí)在找不出問(wèn)題的所在。

Live ReferencesHtmlResponse 42 oldest: 753s agoMySuteSpider1 oldest: 2964s agoRequest 32412 oldest: 2920s agoSelector 42 oldest: 751s agoTripItem 37 oldest: 751s ago

爬蟲的處理是獲取所有頁(yè)面的a標(biāo)簽的鏈接:

#獲取域名的后綴def get_domain_suffix(domain): if ’com’ in tldextract.extract(domain).suffix:return True return False#拼接域名。只存主域名def save_domain(domain): domain_name = tldextract.extract(domain).domain suffix_name = tldextract.extract(domain).suffix return domain_name + ’.’ + suffix_name#獲取域名ipdef get_domain_ip(domain): try:ip = socket.gethostbyname(domain)return ip except:return ’114.114.114.114’# 獲取域名所在的國(guó)家def get_domain_ct_iso(ip): GEO = geoip2.database.Reader(’/var/test/geodb/GeoLite2-City.mmdb’) r = GEO.city(ip) return r.country.iso_codeclass MyDomainSpider(scrapy.Spider): name = ’my_domain’ start_urls = [’http://xxx.com ] def parse_items(self, response):item = TripItem()for url in response.xpath(’//a/@href’).extract(): if url.startswith(’http’): domain = urlparse.urlparse(url).netloc if get_domain_tw(domain) or get_domain_ct_iso(get_domain_ip(domain)) == ’US’:item[’domain’] = save_domain(domain)item[’ip’] = get_domain_ip(domain)item[’datetime’] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')yield item def parse(self, response):for url in response.xpath(’//a/@href’).extract(): if url.startswith(’http’):domain = urlparse.urlparse(url).netlocif get_domain_tw(domain) or get_domain_ct_iso(get_domain_ip(domain)) == ’US’: yield scrapy.Request(url, callback=self.parse_items)

請(qǐng)指教一下謝謝

問(wèn)題解答

回答1:

yield item 是不是得落地,存文件或者db,不然一直存內(nèi)存了

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 高清午夜看片a福利在线观看琪琪 | mm在线精品视频 | 国产精品国产亚洲精品看不卡 | 一区二区三区免费视频网站 | 18videosex性欧美69超高清 | 亚洲成人午夜影院 | 深爱激情五月网 | 久久不见久久见免费影院 | 欧美手机视频 | 国产精品久久久久久久久久久威 | 中文一区在线 | 国产精选经典三级小泽玛利亚 | 国产 高清 在线 | 免费一级欧美在线观看视频片 | 国产网址在线 | 色播亚洲视频在线观看 | 国产欧美日韩免费一区二区 | 成人亚洲精品一区 | 国产精品亚洲国产三区 | 日韩欧美一区二区三区久久 | 亚洲午夜久久久久影院 | 一级黄一片 | 韩国一大片a毛片 | 精品国产高清a毛片无毒不卡 | 国产手机精品一区二区 | 国产免费视屏 | 92精品国产成人观看免费 | a级高清免费 | 在线视频一区二区三区四区 | 欧美videosex性欧美成人 | 偷自拍 | 成人高清在线观看播放 | 亚洲午夜色 | 久久精品国产一区二区 | 91色综合综合热五月激情 | 日本在线毛片视频免费看 | 亚洲成人福利 | 国产欧美另类久久精品91 | 欧美日韩高清不卡一区二区三区 | 欧美日本韩国一区 | 国产一区二区三区久久精品小说 |