使用python标准库urllib2访问网页

#访问不需要登录的网页

import urllib2

target_page_url='http://10.224.110.118/myweb/view.jsp'

f = urllib2.urlopen(target_page_url)

httpCodes=f.getcode()

responseStr = f.read()

f.close()

successful= httpCodes in [200,201,202]

#print(responseStr)

######访问需要登录的网页

#步骤1. 创建一个带有cookie的opener

#步骤2. 提供用户/密码, 用这个opener访问登录action url.

# 因为触发了login_action, web 服务器端就会为这个用户初始化session

#步骤3. 还是使用这个opener访问目标网页.

import urllib, urllib2, cookielib

cj = cookielib.CookieJar()

opener = urllib2.build_opener(urllib2.HTTPCookieProcessor(cj))

login_data = urllib.urlencode({'employeeNo' : 'abcd', 'password' : 'xxxx'})

login_action_url='http://10.224.110.118/myweb/userlogin'

f=opener.open(login_action_url, login_data)

#responseStr = f.read()

target_page_url='http://10.224.110.118/myweb/index.jsp'

f=opener.open(target_page_url)

httpCodes=f.getcode()

responseStr = f.read()

f.close()

opener.close()

successful= httpCodes in [200,201,202]

#print(responseStr)

上面是使用urllib2的示例, 初步看了一下requests包, session(对于客户端来讲, 即cookie)可使用上下文方式来写, 更直观一些.