国产成人精品久久免费动漫-国产成人精品天堂-国产成人精品区在线观看-国产成人精品日本-a级毛片无码免费真人-a级毛片毛片免费观看久潮喷

您的位置:首頁技術文章
文章詳情頁

python - pyspider cookies問題,用requests設置cookies成功登錄微博但在pyspider中失敗

瀏覽:111日期:2022-09-21 16:31:11

問題描述

from pyspider.libs.base_handler import *class Handler(BaseHandler): user_url = 'http://weibo.cn/' crawl_config = {’itag’: ’v1’,’headers’: { ’User-Agent’:’Mozilla/5.0 (Linux; U; Android 2.3.6; en-us; Nexus S Build/GRK39F) AppleWebKit/533.1 (KHTML, like Gecko) Version/4.0 Mobile Safari/533.1’, 'Host': 'weibo.cn', 'Accept': 'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8', 'Accept-Language': 'zh-CN,zh-TW;q=0.8,zh-HK;q=0.6,en-US;q=0.4,en;q=0.2', 'Accept-Encoding': 'gzip, deflate', 'DNT': '1', 'Connection': 'keep-alive'},’cookies’:{'_T_WM':'791e0d5962c38c757bead1a106a4dcc5',' ALF':'1489404939',' SCF':'AmNkSminRmi2L6WiP0tbn2H_p-TOZQIRRTLwEL5OhwHOohm56wHRk_9Jy1w7iXftduUAJihNuU3B-8cYnWBT3Lk.',' SUB':'_2A251modoDeRxGeNG7VEV9ibIyT6IHXVXZCkgrDV6PUJbktBeLXXZkW2HyTgXsruSYnviSU7hXUjfdGTOig..',' SUBP':'0033WrSXqPxfM725Ws9jqgMF55529P9D9W5wqBjzJ2m1XohsTfpMwPVx5JpX5o2p5NHD95Qf1hq0ShqRShzEWs4Dqcjci--fi-i8iK.7i--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-2Xi-2Ni--fi-zRiKnf',' SUHB':'0tKqtAdy5rivMy',' SSOLoginState':'1486812984' } } @every(minutes=60*24 * 60) def on_start(self):self.crawl(Handler.user_url, callback=self.index_page,method='GET') @config(age=1 * 24 * 60 * 60) def index_page(self, response):print(response.text)

用requests可以實現登錄效果,但是用pyspider是一直訪問的是默認的未登錄的網頁

在crawl_config 和在self.crawl 中設置cookies都不行

問題解答

回答1:

建議你用selenium來做, 微博的登入好像要走一遍它的js,反正怎么驗證登入的我是沒看懂

回答2:

pyspider 是在同一臺機器上運行嗎?我不確定 cookie 前帶空格有什么不同,分別用 pyspider 和 requests 發送請求到 http://httpbin.org/get 看看請求有什么不同

另外: 0.3.8 版本在調試時,crawl_config 不生效。

標簽: 微博 Python
主站蜘蛛池模板: 伊人色综合久久成人 | 亚洲成人免费观看 | 在线成人欧美 | 2019天天操天天干天天透 | 欧美三级视频在线观看 | 影院成人区精品一区二区婷婷丽春院影视 | 99精品热女视频专线 | 波多野结衣在线免费视频 | 欧美成人午夜毛片免费影院 | 国产在线91精品天天更新 | 久章草在线观看 | 一级女性全黄久久生活片免费 | 国产一毛片 | 6080伦理久久精品亚洲 | 免费观看一级成人毛片软件 | 日韩综合 | 91精品91 | 日本亚洲欧美在线 | 亚洲精品国产一区二区三 | 欧美日韩在线观看区一二 | 亚洲黄色软件 | 网禁呦萝资源网站在线观看 | 久久加勒比 | 国产麻豆入在线观看 | 精品国产乱码久久久久久一区二区 | 色综合视频一区二区观看 | 在线观看国产一区二三区 | 亚洲第一色网 | 久久久久欧美精品 | 亚洲天天看| 精品一区二区三区三区 | 三级精品在线观看 | 成人日韩在线观看 | 一本久道久久综合婷婷五 | 黄色三级视频在线播放 | 亚洲精品成人av在线 | 久久久久久久久久毛片精品美女 | 久久综合九九 | 国产中文99视频在线观看 | 欧美成人一区二区 | 成人综合影院 |