笔记目录
一、XPath基本语法1、XPath语法辅助工具2、XPath语法简介 3、XPath语法使用方式：二、XPath语法运用实例1、解析源代码：2、实战作业：爬取安居客房屋信息3.实战作业代码lxml库之XPath语法爬取到网页源代码，并不是目的，爬虫的最终目的是采集到我们想要的数据，那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取，无奈我只学到了表皮，为了不影响兴趣，学习路径定为lxml库的XPath语法–>BeautifulSoupy库–>正则表达式。
一、XPath基本语法
百度百科：XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某部分位置的语言。
XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时，完全可以使用XPath 来进行相应的信息提取。
在Python中使用XPath语法需要安装lxml库：
pip install lxml
1、XPath语法辅助工具
2、XPath语法简介
选取节点：谓语：多节点选取：选取多个路径：
| 如：
//div[@class="job_bt"]|//div[@class="job_detail"]
运算符：老师说用得多的主要是 “= < > != or and”，如:
//div[@class='abc' and id!='kkk']
3、XPath语法使用方式：
使用//获取整个页面当中的元素，然后写标签名，再写谓语进行提取：divs=html.xpath('//div[@class="abc"]')
使用XPath需要注意的知识点：
1）/和//的区别：/代表只获取直接子节点，//获取子孙节点，一般情况下，//用得比较多。
2）contains：有时候某个属性中包含了多个值，那么可以使用’contains()'函数：
divs=html.xpath('//div[contains(@class，"job_detail")]')
3）谓语中的下标是从1开始的，不是从0开始的，列表、集合的下标才是从0开始的。
4）使用"xpath"语法，应该使用"Element.xpath()"方法来执行，返回永远是一个列表：
trs=html.xpath('//tr[position()>1]') # 获取除第1个tr外的所有tr标签# 获取当前元素下某个标签的属性href = html.xpath('.//a/@href')[0] # 从列表中获取文本，使用text()方法address = tr.xpath('./td[4]/text()')[0]# 在某个标签下，再执行xpath函数，获取这个标签下的子孙元# 素，应该在斜杠之前加一个点"."，代表在当前元素下获取# 可以用strip()方法去掉字符串的空白符address = tr.xpath('./td[4]/text()')[0].strip()
二、XPath语法运用实例
1、解析源代码：
1）使用"lxml.etree.HTML()"进行html字符串源代码解析：
text = '<!DOCTYPE html>...' # 字符串网页源代码html=etree.HTML(text) # 返回_Element对象# 解码转换成字符串，tostring()会补齐缺失的节点print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2）解析html文件：使用"lxml.etree.parse()"进行解析：
html=etree.parse('test.html') # 读取本地保存的文件解析print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
该方法默认使用“lxml”解析器，需要xml代码规范，否则会报错，需要手动指定解析器HTMLParser：
parser=etree.HTMLParser(encoding='utf-8') # 先创建一个parser解析器html=etree.parse('test.html',parser=parser) # 再调用parser()方法解析，读取文件、传入parser解析器print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2、实战作业：爬取安居客房屋信息
听完老师讲完爬取豆瓣正在上映电影的例子，正好同事想在南宁买一套二手房，于是动了把安居客南宁二手房信息爬取下来的想法，适合练手。那么就先易后难，本次作业只获取第一页列表信息即可，下载图片、进入第二页作为下次练手用。
分析网页：
浏览器打开安居客，按F12选择Network，选择南宁区域，通过分析可知，该网站是静态网页，为GET请求，普通方法即可获取源代码；
检索标签：
查看源代码可知，所有的房屋信息都是在ul标签下，每一个li标签就是一套房的信息；
提取数据：
通过分析，我想取得的信息有这几项：房屋名称（标题）、详情链接（第二页单独取得链接供下次使用）、房屋简介、是否真实出售及担保情况、小区地址、销售总价、销售单价、图片链接。提取数据用刚学的XPath语法，可以轻松获得。50页后二手房信息基本过期，不再提取。
保存数据：
使用panda库，将提取的房屋信息保存到CSV文件中，或是使用内置open()方法直接写入文件：anjuke.csv。
3.实战作业代码
# -*- encoding: utf-8 -*-"""作业：爬取安居客房屋信息，房屋详情暂未爬取、图片未下载"""from lxml import etreeimport requestsfrom fake_useragent import UserAgentimport pandas as pdimport time, randomdef get_html(url):'''获取网页源码'''# 设置代理IP，因数据较多，设置代理安全些proxy = {'http://': '182.46.113.194:9999','https://': '112.85.150.220:9999','http://': '113.195.171.190:9999','http://': '112.85.150.220:9999'}uagent = UserAgent() # 设置请求头headers = {'User-Agent': uagent.random}# 发送请求reponse = requests.get(url, headers=headers, proxies=random.choice(proxy))html = reponse.text # 取得网页字符串信息return htmldef get_houseInfo(html):'''获取房屋信息'''lis = html.xpath('//ul[@id="houselist-mod-new"]/li') # 所有房屋信息都在li节点之下for li in lis:img = li.xpath('./div[1]/img/@src[1]')[0] # 获取图片链接title = li.xpath('.//a/text()')[0].strip() # 获取房屋信息标题href = li.xpath('.//a/@href')[0] # 获取房屋详情链接style = li.xpath('.//i/text()') # 获取安选、担保信息if len(style) > 2:del style[0] # 如果有长度为3，第一个是空数据，删除style[1] = style[1].strip() # 剔除空白、换行符details = li.xpath('./div[2]/div[2]/span/text()') # 获取房屋简介address = li.xpath('./div[2]/div[3]/span[1]/@title') # 获取小区名称、地址，有的房子未写if len(address) > 0: # 删除 及分号address = address[0].split('\xa0\xa0')strong = li.xpath('./div[3]/span[1]/strong/text()')[0] # 获取房屋销售总价price = li.xpath('./div[3]/span[2]/text()')[0] # 获取房屋销售单价yield (title, href, details, style, address, strong, price, img)def down_image(url):'''下载图片'''passdef get_details(url):'''获取房屋更详细信息'''passdef run():'''主运行函数'''print('数据采集中，请稍候......')houses = ['房屋名称','详情链接','房屋简介','真实情况','小区地址','销售总价','销售单价','图片链接']for i in range(1, 51):url = f'/sale/p{str(i)}/#filtersort'html = etree.HTML(get_html(url)) # 调用请求函数df = pd.DataFrame(get_houseInfo(html), columns=houses) # 提取房屋信息存入文件df.to_csv(r'webscraping/data/anjuke_pd.csv', encoding='utf-8', mode='a', index=False)time.sleep(random.randint(1, 8)) # 休息一会儿print(f'已成功采集第{str(i)}页数据！')print('恭喜，全部数据采集成功！')if __name__ == "__main__":run()
说明：本学习笔记根据晚上观看学习B站乐林贝斯发布的视频《Python爬虫】新手强烈推荐：Python爬虫教程，学爬虫这一套就够了》所作笔记，非常感谢老师！
爬虫学习笔记系列：
Python3爬虫编程学习笔记（一）缘由
Python3爬虫编程学习笔记（二）爬虫原理
Python3爬虫编程学习笔记（三）学习urllib库基本用法
Python3爬虫编程学习笔记（四）学习Requests第三方库基本用法
![python3 [爬虫实战] selenium + requests 爬取安居客](https://900zi.500zi.com/uploadfile/img/15/103/875013e2aed1f074918c694af08b0c22.jpg)
