国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁(yè)技術(shù)文章
文章詳情頁(yè)

python - Scrapy存在內(nèi)存泄漏的問(wèn)題。

瀏覽:107日期:2022-06-27 09:37:33

問(wèn)題描述

再編寫爬蟲的時(shí)候,總是跑了一段時(shí)間(不會(huì)超過(guò)12個(gè)小時(shí))就會(huì)被OOM掉。很是無(wú)奈!!!根據(jù)官方的文檔, 使用這個(gè)prefs()但是實(shí)在找不出問(wèn)題的所在。

Live ReferencesHtmlResponse 42 oldest: 753s agoMySuteSpider1 oldest: 2964s agoRequest 32412 oldest: 2920s agoSelector 42 oldest: 751s agoTripItem 37 oldest: 751s ago

爬蟲的處理是獲取所有頁(yè)面的a標(biāo)簽的鏈接:

#獲取域名的后綴def get_domain_suffix(domain): if ’com’ in tldextract.extract(domain).suffix:return True return False#拼接域名。只存主域名def save_domain(domain): domain_name = tldextract.extract(domain).domain suffix_name = tldextract.extract(domain).suffix return domain_name + ’.’ + suffix_name#獲取域名ipdef get_domain_ip(domain): try:ip = socket.gethostbyname(domain)return ip except:return ’114.114.114.114’# 獲取域名所在的國(guó)家def get_domain_ct_iso(ip): GEO = geoip2.database.Reader(’/var/test/geodb/GeoLite2-City.mmdb’) r = GEO.city(ip) return r.country.iso_codeclass MyDomainSpider(scrapy.Spider): name = ’my_domain’ start_urls = [’http://xxx.com ] def parse_items(self, response):item = TripItem()for url in response.xpath(’//a/@href’).extract(): if url.startswith(’http’): domain = urlparse.urlparse(url).netloc if get_domain_tw(domain) or get_domain_ct_iso(get_domain_ip(domain)) == ’US’:item[’domain’] = save_domain(domain)item[’ip’] = get_domain_ip(domain)item[’datetime’] = datetime.datetime.now().strftime('%Y-%m-%d %H:%M:%S')yield item def parse(self, response):for url in response.xpath(’//a/@href’).extract(): if url.startswith(’http’):domain = urlparse.urlparse(url).netlocif get_domain_tw(domain) or get_domain_ct_iso(get_domain_ip(domain)) == ’US’: yield scrapy.Request(url, callback=self.parse_items)

請(qǐng)指教一下謝謝

問(wèn)題解答

回答1:

yield item 是不是得落地,存文件或者db,不然一直存內(nèi)存了

標(biāo)簽: Python 編程
相關(guān)文章:
主站蜘蛛池模板: 免费观看欧美一级毛片 | 欧美啊v在线观看 | 国产一区高清 | 伊人国产在线视频 | 亚洲男女视频 | 成人国产精品一级毛片了 | 欧美三级欧美成人高清www | 男人女人做黄刺激性视频免费 | 成人在线高清 | 狠狠做久久深爱婷婷97动漫 | 在线精品免费视频 | 亚洲国产精品久久网午夜 | 精品无码三级在线观看视频 | 久久青草国产手机看片福利盒子 | 国产一级一片 | 亚洲男同可播放videos | 美女视频黄在线观看 | 欧美一区二区三区在线播放 | 猛操美女 | 操美国女人 | 三级成人网 | 欧美色xxxx | 一级女性生活片 | 性欧美videos俄罗斯 | 香港经典a毛片免费观看爽爽影院 | 亚洲欧美日韩色 | 欧美一级久久久久久久大 | 欧美性精品videofree | 在线a亚洲视频播放在线观看 | 国产一区欧美 | 91伊人影院 | 欧美不卡视频在线观看 | 武松大战潘金莲三级在线 | 韩日一级 | 丁香伊人五月综合激激激 | 私人午夜影院 | 手机毛片在线观看 | 亚洲国产成人综合 | 国产女王s调视频vk 国产女王vk | 日本精品高清一区二区不卡 | 国产精品高清在线观看地址 |