urllib 和urllib2都是接受URL请求的相关模块，但是urllib2可以接受一个Request类的实例来设置URL请求的headers，urllib仅可以接受URL。这意味着，你不可以伪装你的User Agent字符串等。
urllib提供urlencode方法用来GET查询字符串的产生，而urllib2没有。这是为何urllib常和urllib2一起使用的原因。
目前的大部分http请求都是通过urllib2来访问的
httplib
httplib实现了HTTP和HTTPS的客户端协议，一般不直接使用，在python更高层的封装模块中（urllib,urllib2）使用了它的http实现。
urllib简单用法
urllib.urlopen(url[, data[, proxies]]) :
google=urllib.urlopen('')print'httpheader:/n',google.info()print'httpstatus:',google.getcode()print'url:',google.geturl()forlineingoogle:#就像在操作本地文件printline,google.close()
详细使用方法见
urllib学习
urllib2简单用法
最简单的形式
importurllib2response=urllib2.urlopen('')html=response.read()
实际步骤：
1、urllib2.Request()的功能是构造一个请求信息，返回的req就是一个构造好的请求
2、urllib2.urlopen()的功能是发送刚刚构造好的请求req，并返回一个文件类的对象response，包括了所有的返回信息。
3、通过response.read()可以读取到response里面的html，通过response.info()可以读到一些额外的信息。
如下：
#!/usr/bin/envpythonimporturllib2req=urllib2.Request("")response=urllib2.urlopen(req)html=response.read()printhtml
有时你会碰到，程序也对，但是服务器拒绝你的访问。这是为什么呢?问题出在请求中的头信息(header)。 有的服务端有洁癖，不喜欢程序来触摸它。这个时候你需要将你的程序伪装成浏览器来发出请求。请求的方式就包含在header中。
常见的情形：
importurllibimporturllib2url='/cgi-bin/register.cgi'user_agent='Mozilla/4.0(compatible;MSIE5.5;WindowsNT)'#将user_agent写入头信息values={'name':'who','password':'123456'}headers={'User-Agent':user_agent}data=urllib.urlencode(values)req=urllib2.Request(url,data,headers)response=urllib2.urlopen(req)the_page=response.read()
values是post数据
GET方法
例如百度：
百度是通过/s?wd=XXX 来进行查询的，这样我们需要将{‘wd’:’xxx’}这个字典进行urlencode
#coding:utf-8importurllibimporturllib2url='/s'values={'wd':'D_in'}data=urllib.urlencode(values)printdataurl2=url+'?'+dataresponse=urllib2.urlopen(url2)the_page=response.read()printthe_page
POST方法
importurllibimporturllib2url='/cgi-bin/register.cgi'user_agent='Mozilla/4.0(compatible;MSIE5.5;WindowsNT)'//将user_agent写入头信息values={'name':'who','password':'123456'}//post数据headers={'User-Agent':user_agent}data=urllib.urlencode(values)//对post数据进行url编码req=urllib2.Request(url,data,headers)response=urllib2.urlopen(req)the_page=response.read()
urllib2带cookie的使用
#coding:utf-8importurllib2,urllibimportcookieliburl=r'/ajaxLogin'#创建一个cj的cookie的容器cj=cookielib.CookieJar()opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))#将要POST出去的数据进行编码data=urllib.urlencode({"email":email,"password":pass})r=opener.open(url,data)printcj
httplib简单用法
简单示例
#!/usr/bin/envpython#-*-coding:utf-8-*-importhttplibimporturllibdefsendhttp():data=urllib.urlencode({'@number':12524,'@type':'issue','@action':'show'})headers={"Content-type":"application/x-www-form-urlencoded","Accept":"text/plain"}conn=httplib.HTTPConnection('')conn.request('POST','/',data,headers)httpres=conn.getresponse()printhttpres.statusprinthttpres.reasonprinthttpres.read()if__name__=='__main__':sendhttp()
具体用法见
httplib模块
