900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > 【python分布爬虫】1-3.requests使用代理ip

【python分布爬虫】1-3.requests使用代理ip

时间:2021-01-08 07:16:09

相关推荐

【python分布爬虫】1-3.requests使用代理ip

使用代理:

使用requests添加代理也非常简单,只要在请求的方法中(比如get或者post)传递proxies参数就可以了。

(当发送请求过多,并且ip地址是同一个ip地址,当真实的ip地址被目标服务器封掉,无法进行下去,这时就要使用代理)

import requests# /ip:可以查看ip地址proxy = {'http': '120.220.220.95:8085'}response = requests.get("/ip", proxies=proxy)print(response.text)

处理cookie:

# cookie# 如果在一个响应中包含了cookie,那么可以利用cookies属性拿到这个返回的cookie值:import requestsresponse = requests.get('')print(response.cookies.get_dict()) # get_dict()会以字典的方式返回

结果:{‘BDORZ’: ‘27315’}

如果想要在多次请求中共享cookie,那么应该使用session,示例代码如下

requests处理不信任的ssl证书

import requests'''对于那些已经被信任的ssl证书的网站,将verify设置为False,比如 /,那么使用requests直接就可以正常的返回响应。'''resp = requests.get('/mormhweb', verify=False)print(resp.content.decode('utf-8'))

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。