本人在学习爬虫的过程中学习如何设置代理ip,但是遇到了request请求中proxies参数编写的问题
首先必须知道proxies参数是一个字典类型
proxies={ 'http': 'http://xx.xx.xx.xx:xx' }但是有的网站用的是http协议,有的是https,我们该怎么设置呢?我们来测试一下
这里有个检测访问ip的清洁版网址:/
一.用https检测代理ip是否成功
*我们发现requests请求成功了,但是代理ip并没有起效,我们使用的依然是本地的ip
*利用浏览器打开核对,果然,使用的是真实的本地ip地址
二.用http检测代理ip
用http代理ip,和目标网址用的同样的协议,竟奇迹般报错?三.解决办法
通过百度找到了万全之策,即把两个都加上,requests会自动选择合适的协议proxies={'https': 'http://xx.xx.xx.xx:xx','http': 'http://xx.xx.xx.xx:xx'}
