笔记目录
一、XPath基本语法1、XPath语法辅助工具2、XPath语法简介 3、XPath语法使用方式:二、XPath语法运用实例1、解析源代码:2、实战作业:爬取安居客房屋信息3.实战作业代码lxml库之XPath语法爬取到网页源代码,并不是目的,爬虫的最终目的是采集到我们想要的数据,那么就必须进行数据提取。一般来说是利用Python自带的正则表达式re模块进行提取,无奈我只学到了表皮,为了不影响兴趣,学习路径定为lxml库的XPath语法–>BeautifulSoupy库–>正则表达式。
一、XPath基本语法
百度百科:XPath即为XML路径语言(XML Path Language),它是一种用来确定XML文档中某部分位置的语言。
XPath语法可用来在XML和HTML文档中对标签元素和属性进行遍历。所以在做爬虫时,完全可以使用XPath 来进行相应的信息提取。
在Python中使用XPath语法需要安装lxml库:
pip install lxml
1、XPath语法辅助工具
2、XPath语法简介
选取节点:谓语:多节点选取:选取多个路径:
| 如:
//div[@class="job_bt"]|//div[@class="job_detail"]
运算符:老师说用得多的主要是 “= < > != or and”,如:
//div[@class='abc' and id!='kkk']
3、XPath语法使用方式:
使用//获取整个页面当中的元素,然后写标签名,再写谓语进行提取:divs=html.xpath('//div[@class="abc"]')
使用XPath需要注意的知识点:
1)/和//的区别:/代表只获取直接子节点,//获取子孙节点,一般情况下,//用得比较多。
2)contains:有时候某个属性中包含了多个值,那么可以使用’contains()'函数:
divs=html.xpath('//div[contains(@class,"job_detail")]')
3)谓语中的下标是从1开始的,不是从0开始的,列表、集合的下标才是从0开始的。
4)使用"xpath"语法,应该使用"Element.xpath()"方法来执行,返回永远是一个列表:
trs=html.xpath('//tr[position()>1]') # 获取除第1个tr外的所有tr标签# 获取当前元素下某个标签的属性href = html.xpath('.//a/@href')[0] # 从列表中获取文本,使用text()方法address = tr.xpath('./td[4]/text()')[0]# 在某个标签下,再执行xpath函数,获取这个标签下的子孙元# 素,应该在斜杠之前加一个点".",代表在当前元素下获取# 可以用strip()方法去掉字符串的空白符address = tr.xpath('./td[4]/text()')[0].strip()
二、XPath语法运用实例
1、解析源代码:
1)使用"lxml.etree.HTML()"进行html字符串源代码解析:
text = '<!DOCTYPE html>...' # 字符串网页源代码html=etree.HTML(text) # 返回_Element对象# 解码转换成字符串,tostring()会补齐缺失的节点print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2)解析html文件:使用"lxml.etree.parse()"进行解析:
html=etree.parse('test.html') # 读取本地保存的文件解析print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
该方法默认使用“lxml”解析器,需要xml代码规范,否则会报错,需要手动指定解析器HTMLParser:
parser=etree.HTMLParser(encoding='utf-8') # 先创建一个parser解析器html=etree.parse('test.html',parser=parser) # 再调用parser()方法解析,读取文件、传入parser解析器print(etree.tostring(html,encoding='utf-8').decode('utf-8'))
2、实战作业:爬取安居客房屋信息
听完老师讲完爬取豆瓣正在上映电影的例子,正好同事想在南宁买一套二手房,于是动了把安居客南宁二手房信息爬取下来的想法,适合练手。那么就先易后难,本次作业只获取第一页列表信息即可,下载图片、进入第二页作为下次练手用。
分析网页:
浏览器打开安居客,按F12选择Network,选择南宁区域,通过分析可知,该网站是静态网页,为GET请求,普通方法即可获取源代码;
检索标签:
查看源代码可知,所有的房屋信息都是在ul标签下,每一个li标签就是一套房的信息;
提取数据:
通过分析,我想取得的信息有这几项:房屋名称(标题)、详情链接(第二页单独取得链接供下次使用)、房屋简介、是否真实出售及担保情况、小区地址、销售总价、销售单价、图片链接。提取数据用刚学的XPath语法,可以轻松获得。50页后二手房信息基本过期,不再提取。
保存数据:
使用panda库,将提取的房屋信息保存到CSV文件中,或是使用内置open()方法直接写入文件:anjuke.csv。
3.实战作业代码
# -*- encoding: utf-8 -*-"""作业:爬取安居客房屋信息,房屋详情暂未爬取、图片未下载"""from lxml import etreeimport requestsfrom fake_useragent import UserAgentimport pandas as pdimport time, randomdef get_html(url):'''获取网页源码'''# 设置代理IP,因数据较多,设置代理安全些proxy = {'http://': '182.46.113.194:9999','https://': '112.85.150.220:9999','http://': '113.195.171.190:9999','http://': '112.85.150.220:9999'}uagent = UserAgent() # 设置请求头headers = {'User-Agent': uagent.random}# 发送请求reponse = requests.get(url, headers=headers, proxies=random.choice(proxy))html = reponse.text # 取得网页字符串信息return htmldef get_houseInfo(html):'''获取房屋信息'''lis = html.xpath('//ul[@id="houselist-mod-new"]/li') # 所有房屋信息都在li节点之下for li in lis:img = li.xpath('./div[1]/img/@src[1]')[0] # 获取图片链接title = li.xpath('.//a/text()')[0].strip() # 获取房屋信息标题href = li.xpath('.//a/@href')[0] # 获取房屋详情链接style = li.xpath('.//i/text()') # 获取安选、担保信息if len(style) > 2:del style[0] # 如果有长度为3,第一个是空数据,删除style[1] = style[1].strip() # 剔除空白、换行符details = li.xpath('./div[2]/div[2]/span/text()') # 获取房屋简介address = li.xpath('./div[2]/div[3]/span[1]/@title') # 获取小区名称、地址,有的房子未写if len(address) > 0: # 删除 及分号address = address[0].split('\xa0\xa0')strong = li.xpath('./div[3]/span[1]/strong/text()')[0] # 获取房屋销售总价price = li.xpath('./div[3]/span[2]/text()')[0] # 获取房屋销售单价yield (title, href, details, style, address, strong, price, img)def down_image(url):'''下载图片'''passdef get_details(url):'''获取房屋更详细信息'''passdef run():'''主运行函数'''print('数据采集中,请稍候......')houses = ['房屋名称','详情链接','房屋简介','真实情况','小区地址','销售总价','销售单价','图片链接']for i in range(1, 51):url = f'/sale/p{str(i)}/#filtersort'html = etree.HTML(get_html(url)) # 调用请求函数df = pd.DataFrame(get_houseInfo(html), columns=houses) # 提取房屋信息存入文件df.to_csv(r'webscraping/data/anjuke_pd.csv', encoding='utf-8', mode='a', index=False)time.sleep(random.randint(1, 8)) # 休息一会儿print(f'已成功采集第{str(i)}页数据!')print('恭喜,全部数据采集成功!')if __name__ == "__main__":run()
说明:本学习笔记根据晚上观看学习B站乐林贝斯发布的视频《Python爬虫】新手强烈推荐:Python爬虫教程,学爬虫这一套就够了》所作笔记,非常感谢老师!
爬虫学习笔记系列:
Python3爬虫编程学习笔记(一)缘由
Python3爬虫编程学习笔记(二)爬虫原理
Python3爬虫编程学习笔记(三)学习urllib库基本用法
Python3爬虫编程学习笔记(四)学习Requests第三方库基本用法