python + selenium + chromedriver 如何實現無界面爬取
問題描述
在使用selenium爬取12306的過程中，發現使用phantomjs無法爬取，使用chromedriver就可以，應該是phantomjs被網站檢測出來后封禁了，使用chromedriver又會顯示界面，爬取效率低?，F在有兩點疑問，google了好久都沒找到有效的解決方法1.如何偽裝phantomjs，盡最大可能的偽裝2.如何設置chromedriver，使其不顯示界面，或者還有什么其他方法提高爬取效率
感謝?。。?/p>
問題解答
回答1：通過PyVirtualDisplay可以實現你的需求，大概代碼就是這樣：
#!/usr/bin/env pythonfrom pyvirtualdisplay import Displayfrom selenium import webdriverdisplay = Display(visible=0, size=(800, 600))display.start()# now Firefox will run in a virtual display. # you will not see the browser.browser = webdriver.Chrome()browser.get(’http://www.baidu.com’)print browser.titlebrowser.quit()display.stop()
不知道你修改過phantomjs的頭信息沒有，可以通過
from selenium import webdriveroptions = webdriver.ChromeOptions()options.add_argument(’lang=zh_CN.UTF-8’)options.add_argument(’user-agent='Mozilla/5.0 (iPod; U; CPU iPhone OS 2_1 like Mac OS X; ja-jp) AppleWebKit/525.18.1 (KHTML, like Gecko) Version/3.1.1 Mobile/5F137 Safari/525.20'’)browser = webdriver.Chrome(chrome_options=options)url = 'https://baidu.com'browser.get(url)browser.quit()
這種方式修改phantomjs的頭部信息，這個也可以試試
回答2：可以參考鄙人的文章在headless模式下運行selenium
相關文章：
1. mysql 為什么主鍵 id 和 pid 都市索引, id > 10 走索引 time > 10 不走索引?2. css - chrome下a標簽嵌套img 顯示會多個小箭頭?3. css3 - 純css實現點擊特效4. vim - docker中新的ubuntu12.04鏡像,運行vi提示,找不到命名.5. javascript - Img.complete和img.onload判斷圖片加載完成有什么區別？6. java中返回一個對象，和輸出對像的值，意義在哪兒7. docker網絡端口映射，沒有方便點的操作方法么？8. mysql - 在不允許改動數據表的情況下，如何優化以varchar格式存儲的時間的比較？9. apache - 目錄瀏覽權限關閉后還有必要掛空白 index.html 嗎？10. css - 網頁div區塊 像蘋果一樣可左右滑動 手機與電腦
網公網安備