900字范文,内容丰富有趣,生活中的好帮手!
900字范文 > python 利用urllib2通过指定网页访问url 并捕获内容

python 利用urllib2通过指定网页访问url 并捕获内容

时间:2021-05-31 23:42:14

相关推荐

python 利用urllib2通过指定网页访问url 并捕获内容

为什么80%的码农都做不了架构师?>>>

# python 2.7.11import urllibimport urllib2# 文件编码获取工具import chardet# 利用请求的url地址,创建一个url对象url = urllib2.Request('')# 访问请求的url对象,并获取一个应答对象(应答对象相当于一个文件对象)response = urllib2.urlopen(url)# 利用response的read() 方法获取文件内容htmlConcent = response.read()print htmlConcent# post 带参数的post请求url = '/'value = {'account': 'da','location': 'SDU','logmain.log': 'python'}# 参数编码data = urllib.urlencode(value)# 发送请求同时传递参数req = urllib2.Request(url, data)# 接受反馈的信息response = urllib2.urlopen(req)# 读取反馈的内容test = response.read();# get 带参数的get请求data = {}data['name'] = '张三'data['pass'] = '李四'# 参数编码val_values = urllib.urlencode(data)url = ''# 参数合进urlfull_url = url + "?" + val_values# 打开urldata = urllib2.urlopen(full_url)# 带header报文头的url 请求url = '/cgi-bin/register.cgi'# 报文头内容user_agent = 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)'values = {'name' : 'WHY','location' : 'SDU','language' : 'Python' }headers = { 'User-Agent' : user_agent }data = urllib.urlencode(values)# 创建Request时加入header 报文头req = urllib2.Request(url, data, headers)response = urllib2.urlopen(req)the_page = response.read()

本内容不代表本网观点和政治立场,如有侵犯你的权益请联系我们处理。
网友评论
网友评论仅供其表达个人看法,并不表明网站立场。