關(guān)于python中的xpath解析定位
爬取的網(wǎng)站:http://jbk.39.net/chancegz/
這里只針對(duì)個(gè)別屬性值:
#例如:’別名’下的span標(biāo)簽文本,‘發(fā)病部位’下的span標(biāo)簽文本以及‘掛號(hào)科室‘下的span標(biāo)簽文本#def disease(url): text = get_html(url) tree = etree.HTML(text) bm = tree.xpath(’//ul[@class='information_ul']/li/i[text()='別名:']/following-sibling::span/text()’) bw = tree.xpath(’//ul[@class='information_ul']/li/i[text()='發(fā)病部位:']/following-sibling::span/a/text()’) ks = tree.xpath(’//ul[@class='information_ul']/li/i[text()='掛號(hào)科室:']/following-sibling::span/a/text()’) return bm, bw, ks
補(bǔ)充其他:
# /從根元素開(kāi)始,相當(dāng)于絕對(duì)路徑 print(tree.xpath(’/html/body/ul’))# //全局搜索,找到所有 print(tree.xpath(’//li’)) ul = tree.xpath(’//ul’)# . 當(dāng)前# 返回的都是列表,查找到所有l(wèi)i = ul[0].xpath(’./li’)print(li) for l in li: # 獲取屬性id的值 @idprint(l.xpath(’./@id’)) # 定位 /標(biāo)簽[@屬性=’值’] liClass = tree.xpath('//li[@class=’liClass’]') print(liClass) #判斷,@屬性=’值’ --->返回True或Falseprint(tree.xpath('//li/@id=’12’')) print('===========================') #直接使用下標(biāo)訪問(wèn),下標(biāo)從1開(kāi)始 獲取對(duì)個(gè)li里面的文本print(tree.xpath(’//li[2]/text()’))#last()最后一個(gè)print(tree.xpath(’//li[last()]/text()’)) #倒數(shù)第二個(gè) print(tree.xpath(’//li[last()-1]/text()’))# position() 位置 > < = >= <= print(tree.xpath(’//li[position()>1]’))#* 通配 print(tree.xpath(’//*[@class='liClass']’))# 或 | print(tree.xpath(’//li[@class='liClass'] | //div[@class='liClass']’))
xpath基本語(yǔ)法
表達(dá)式 說(shuō)明 article 選取所有article元素的所有子節(jié)點(diǎn) /article 選取根元素article article/a 選取所有屬于article的子元素的a元素 //div 選取所有div元素(不管出現(xiàn)在文檔里的任何地方) article//div 選取所有屬于article元素的后代的div元素,不管它出現(xiàn)在article之下的任何位置 //@class 選取所有名為class的屬性 表達(dá)式 說(shuō)明 /article/div[1] 選取屬于article子元素的第一個(gè)div元素 /article/div[last()] 選取屬于article子元素的最后一個(gè)div元素 /article/div[last()-1] 選取屬于article子元素的倒數(shù)第二個(gè)div元素 //div[@color] 選取所有擁有color屬性的div元素 //div[@color=‘red’] 選取所有color屬性值為red的div元素 表達(dá)式 說(shuō)明 /div/* 選取屬于div元素的所有子節(jié)點(diǎn) //* 選取所有元素 //div[@*] 選取所有帶屬性的div 元素 //div/a 丨//div/p 選取所有div元素的a和p元素 //span丨//ul 選取文檔中的span和ul元素 article/div/p丨//span 選取所有屬于article元素的div元素的p元素以及文檔中所有的 span元素
補(bǔ)充:
相鄰元素定位,前一位:preceding-sibling::div[1]后一位:following-sibling::div[1]前N位:preceding-sibling::div[N]后N位:following-sibling::div[N]# 爬取i標(biāo)簽中包含相關(guān)檢查節(jié)點(diǎn)的兄弟 a節(jié)點(diǎn)(找到i節(jié)點(diǎn)—>找到其父節(jié)點(diǎn)->找到該父節(jié)點(diǎn)的子節(jié)點(diǎn)a)content = tree.xpath(’//i[contains(text(),'相關(guān)檢查:')]/../a[@class='blue']/text()’)xpath多個(gè)class限制//div[contains(@class, ’demo’) and contains(@class, ’other’)]xpath 同時(shí)多個(gè)標(biāo)簽用| 分隔//div[contains(@class, 'jib-lh-articl')]/p | //div[contains(@class, 'jib-lh-articl')]/h3選擇不包含某一屬性的節(jié)點(diǎn)//div[not(@class)] 沒(méi)有class屬性的div//tbody/tr[not(@class or @id)]獲取當(dāng)前節(jié)點(diǎn)的是什么類型的html標(biāo)簽xpath_element.tag
補(bǔ)充知識(shí):使用Xpath定位元素(和元素定位相關(guān)的Xpath語(yǔ)法)
本文主要講述Xpath語(yǔ)法中,和元素定位相關(guān)的語(yǔ)法
第一種方法:通過(guò)絕對(duì)路徑做定位(相信大家不會(huì)使用這種方式)
By.xpath('html/body/div/form/input')
第二種方法:通過(guò)相對(duì)路徑做定位
兩個(gè)斜杠代表相對(duì)路徑
By.xpath('//input//div')
第三種方法:通過(guò)元素索引定位
By.xpath('//input[4]')
第四種方法:使用xpath+節(jié)點(diǎn)屬性定位(結(jié)合第2、第3中方法可以使用)
By.xpath('//input[@id=’kw1’]')By.xpath('//input[@type=’name’ and @name=’kw1’]')
第五種方法:使用部分屬性值匹配(最強(qiáng)大的方法)
By.xpath('//input[start-with(@id,’nice’)]')By.xpath('//input[ends-with(@id,’很漂亮’)]')By.xpath('//input[contains(@id,’那么美’)]')
第六種方法:使用前集中方法的組合
By.xpath('//input[@id=’kw1’]//input[start-with(@id,’nice’]/div[1]/form[3])
以上這篇關(guān)于python中的xpath解析定位就是小編分享給大家的全部?jī)?nèi)容了,希望能給大家一個(gè)參考,也希望大家多多支持好吧啦網(wǎng)。
相關(guān)文章:
1. CSS3實(shí)例分享之多重背景的實(shí)現(xiàn)(Multiple backgrounds)2. XML入門(mén)的常見(jiàn)問(wèn)題(四)3. vue實(shí)現(xiàn)復(fù)制文字復(fù)制圖片實(shí)例詳解4. XML基本概念XPath、XSLT與XQuery函數(shù)介紹5. 前端html+css實(shí)現(xiàn)動(dòng)態(tài)生日快樂(lè)代碼6. 關(guān)于html嵌入xml數(shù)據(jù)島如何穿過(guò)樹(shù)形結(jié)構(gòu)關(guān)系的問(wèn)題7. WML的簡(jiǎn)單例子及編輯、測(cè)試方法第1/2頁(yè)8. 不要在HTML中濫用div9. el-input無(wú)法輸入的問(wèn)題和表單驗(yàn)證失敗問(wèn)題解決10. XML入門(mén)的常見(jiàn)問(wèn)題(三)
