網頁爬蟲 - Python requests.get 爬蟲 設置代理 IP地址未改變
問題描述
工作需要爬取亞馬遜上面的信息,但是亞馬遜反爬蟲太厲害,同一個IP地址會被封。Python版本:3.6, IDE:Pycharm 2017.1在網上查了很多資料,requests庫的手冊也讀過,但是都是同一個方法,代碼如下:
import requests’’’代理IP地址(高匿)’’’proxy = {’HTTPS’: ’117.85.105.170:808’}’’’head 信息’’’head = {’User-Agent’: ’Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36’, ’Connection’: ’keep-alive’}’’’http://icanhazip.com會返回當前的IP地址’’’p = requests.get(’http://icanhazip.com’, headers=head, proxies=proxy)print(p.text)
根據我看過的許多教程的理論,如果代理設置成功,最后顯示的IP應該是代理的IP地址,但是最終還是我真實的IP地址,這樣一來不就等于沒有設置代理么?
問題解答
回答1:proxies在你訪問http時用http的設置,訪問https時用https的設置所以你的proxy需要同時包含http及https的配置,這樣才能生效
proxy = { ’http’: ’http://117.85.105.170:808’, ’https’: ’https://117.85.105.170:808’}
相關文章:
1. javascript - 原生canvas中如何獲取到觸摸事件的canvas內坐標?2. 我在centos容器里安裝docker,也就是在容器里安裝容器,報錯了?3. mysql優化 - mysql EXPLAIN之后怎么看結果進行優化 ?4. golang - 用IDE看docker源碼時的小問題5. android - 用textview顯示html時如何寫imagegetter獲取網絡圖片6. JavaScript事件7. css3 - css怎么實現圖片環繞的效果8. css3 - border-bottom 的長度可否超過盒子的寬度呢?實現如下圖效果。(我的書下面的線)9. debian - docker依賴的aufs-tools源碼哪里可以找到啊?10. docker gitlab 如何git clone?
