使用XPath，我们可以先将HTML文件转换成XML文档，然后用XPath查找HTML节点或元素。
什么是XML
XML指可扩展标记语言（EXtensibleMarkupLanguage）XML是一种标记语言，很类似HTMLXML的设计宗旨是传输数据，而非显示数据XML的标签需要我们自行定义。XML被设计为具有自我描述性。XML是W3C的推荐标准W3School官方文档：/xml/index.aspXML和HTML的区别
XML文档示例
<?xml version="1.0" encoding="utf-8"?><bookstore> <book category="cooking"> <title lang="en">Everyday Italian</title> <author>Giada De Laurentiis</author> <year></year> <price>30.00</price> </book> <book category="children"> <title lang="en">Harry Potter</title> <author>J K. Rowling</author> <year></year> <price>29.99</price> </book> <book category="web"> <title lang="en">XQuery Kick Start</title> <author>James McGovern</author> <author>Per Bothner</author> <author>Kurt Cagle</author> <author>James Linn</author> <author>Vaidyanathan Nagarajan</author> <year></year> <price>49.99</price> </book> <book category="web" cover="paperback"> <title lang="en">Learning XML</title> <author>Erik T. Ray</author> <year></year> <price>39.95</price> </book> </bookstore>
HTMLDOM模型示例
HTMLDOM定义了访问和操作HTML文档的标准方法，以树结构方式表达HTML文档。
XML的节点关系
1.父（Parent）
每个元素以及属性都有一个父。
下面是一个简单的XML例子中，book元素是title、author、year以及price元素的父：
<?xmlversion="1.0"encoding="utf-8"?><book><title>HarryPotter</title><author>JK.Rowling</author><year></year><price>29.99</price></book>
2.子（Children）
元素节点可有零个、一个或多个子。
在下面的例子中，title、author、year以及price元素都是book元素的子：
<?xmlversion="1.0"encoding="utf-8"?><book><title>HarryPotter</title><author>JK.Rowling</author><year></year><price>29.99</price></book>
3.同胞（Sibling）
拥有相同的父的节点
在下面的例子中，title、author、year以及price元素都是同胞：
<?xmlversion="1.0"encoding="utf-8"?><book><title>HarryPotter</title><author>JK.Rowling</author><year></year><price>29.99</price></book>
4.先辈（Ancestor）
某节点的父、父的父，等等。
在下面的例子中，title元素的先辈是book元素和bookstore元素：
<?xmlversion="1.0"encoding="utf-8"?><bookstore><book><title>HarryPotter</title><author>JK.Rowling</author><year></year><price>29.99</price></book></bookstore>
5.后代（Descendant）
某个节点的子，子的子，等等。
在下面的例子中，bookstore的后代是book、title、author、year以及price元素：
<?xmlversion="1.0"encoding="utf-8"?><bookstore><book><title>HarryPotter</title><author>JK.Rowling</author><year></year><price>29.99</price></book></bookstore>
什么是XPath？
XPath(XMLPathLanguage)是一门在XML文档中查找信息的语言，可用来在XML文档中对元素和属性进行遍历。
W3School官方文档：/xpath/index.asp
XPath开发工具
开源的XPath表达式编辑工具:XMLQuire(XML格式文件可用)
Chrome插件XPathHelper
Firefox插件XPathChecker
选取节点
XPath使用路径表达式来选取XML文档中的节点或者节点集。
这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。
路径表达式：
在下面的表格中，我们已列出了一些路径表达式：
谓语（Predicates）
谓语用来查找某个特定的节点或者包含某个指定的值的节点，被嵌在方括号中。
在下面的表格中，我们列出了带有谓语的一些路径表达式，以及表达式的结果：
选取未知节点
XPath通配符可用来选取未知的XML元素。
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
选取若干路径
通过在路径表达式中使用“|”运算符，您可以选取若干个路径。
实例
在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：
下面列出了可用在XPath表达式中的运算符：
这些就是XPath的语法内容，在运用到Python抓取时要先转换为xml。
XPath实例测试
1.获取所有的<li>标签
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')printtype(html)#显示etree.parse()返回类型result=html.xpath('//li')printresult#打印<li>标签的元素集合printlen(result)printtype(result)printtype(result[0])
输出结果：
<type'lxml.etree._ElementTree'>
[<Elementliat0x1014e0e18>,<Elementliat0x1014e0ef0>,<Elementliat0x1014e0f38>,<Elementliat0x1014e0f80>,<Elementliat0x1014e0fc8>]
5
<type'list'>
<type'lxml.etree._Element'>
2.继续获取<li>标签的所有class属性
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//li/@class')printresult
运行结果
['item-0','item-1','item-inactive','item-1','item-0']
3.继续获取<li>标签下hre为link1.html的<a>标签
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//li/a[@href="link1.html"]')printresult
运行结果
[<Elementaat0x10ffaae18>]
4.获取<li>标签下的所有<span>标签
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')#result=html.xpath('//li/span')
#注意这么写是不对的：
#因为/是用来获取子元素的，而<span>并不是<li>的子元素，所以，要用双斜杠
result=html.xpath('//li//span')
printresult
运行结果
[<Elementspanat0x10d698e18>]
5.获取<li>标签下的<a>标签里的所有class
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//li/a//@class')printresult
运行结果
['blod']
6.获取最后一个<li>的<a>的href
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//li[last()]/a/@href')#谓语[last()]可以找到最后一个元素printresult
运行结果
['link5.html']
7.获取倒数第二个元素的内容
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//li[last()-1]/a')#text方法可以获取元素内容printresult[0].text
运行结果
fourthitem
8.获取class值为bold的标签名
#xpath_li.pyfromlxmlimportetreehtml=etree.parse('hello.html')result=html.xpath('//*[@class="bold"]')#tag方法可以获取标签名printresult[0].tag
运行结果
span
使用XPath的爬虫
现在我们用XPath来做一个简单的爬虫，我们尝试爬取某个贴吧里的所有帖子，并且将该这个帖子里每个楼层发布的图片下载到本地。
# tieba_xpath.py#!/usr/bin/env python# -*- coding:utf-8 -*-import osimport urllibimport urllib2from lxml import etreeclass Spider:def __init__(self):self.tiebaName = raw_input("请需要访问的贴吧：")self.beginPage = int(raw_input("请输入起始页："))self.endPage = int(raw_input("请输入终止页："))self.url = '/f'self.ua_header = {"User-Agent" : "Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1 Trident/5.0;"}# 图片编号self.userName = 1def tiebaSpider(self):for page in range(self.beginPage, self.endPage + 1):pn = (page - 1) * 50 # page numberword = {'pn' : pn, 'kw': self.tiebaName}word = urllib.urlencode(word) #转换成url编码格式（字符串）myUrl = self.url + "?" + word# 示例：/f? kw=%E7%BE%8E%E5%A5%B3 & pn=50# 调用 页面处理函数 load_Page# 并且获取页面所有帖子链接,links = self.loadPage(myUrl) # urllib2_test3.py# 读取页面内容def loadPage(self, url):req = urllib2.Request(url, headers = self.ua_header)html = urllib2.urlopen(req).read()# 解析html 为 HTML 文档selector=etree.HTML(html)#抓取当前页面的所有帖子的url的后半部分，也就是帖子编号# /p/4884069807里的 “p/4884069807”links = selector.xpath('//div[@class="threadlist_lz clearfix"]/div/a/@href')# links 类型为 etreeElementString 列表# 遍历列表，并且合并成一个帖子地址，调用 图片处理函数 loadImagefor link in links:link = "" + linkself.loadImages(link)# 获取图片def loadImages(self, link):req = urllib2.Request(link, headers = self.ua_header)html = urllib2.urlopen(req).read()selector = etree.HTML(html)# 获取这个帖子里所有图片的src路径imagesLinks = selector.xpath('//img[@class="BDE_Image"]/@src')# 依次取出图片路径，下载保存for imagesLink in imagesLinks:self.writeImages(imagesLink)# 保存页面内容def writeImages(self, imagesLink):'''将 images 里的二进制内容存入到 userNname 文件中'''print imagesLinkprint "正在存储文件 %d ..." % self.userName# 1. 打开文件，返回一个文件对象file = open('./images/' + str(self.userName) + '.png', 'wb')# 2. 获取图片里的内容images = urllib2.urlopen(imagesLink).read()# 3. 调用文件对象write() 方法，将page_html的内容写入到文件里file.write(images)# 4. 最后关闭文件file.close()# 计数器自增1self.userName += 1# 模拟 main 函数if __name__ == "__main__":# 首先创建爬虫对象mySpider = Spider()# 调用爬虫对象的方法，开始工作mySpider.tiebaSpider()
运行效果：
