Python urllib模块实战：登录、缓存与认证处理详解

顾星河

发布时间：2026-10-12| 6人浏览过

原创

本文详解Python中urllib模块的三种典型应用场景：通过CookieJar和Opener实现网站自动登录，利用urlopen观察请求缓存带来的性能提升，以及使用HTTPPasswordMgr处理需要身份验证的页面访问。文章提供完整代码示例与参数说明，帮助开发者掌握urllib在复杂网络请求中的实际用法。

本文通过具体实例详细解析Python中urllib模块的使用方法，旨在为读者提供实用的参考代码与技术分析。

一、问题背景：

近期公司项目需求是根据客户提供的API接口，定时获取数据。原有的解决方案是使用PHP收集任务并存入Redis队列，随后在Linux环境下运行一个常驻进程执行特定的PHP脚本。该PHP脚本包含一个无限循环，用于检测Redis队列：若有任务则执行，否则退出循环。

二、解决方案：

近期学习了Python，发现urllib模块在处理此类请求时可能比PHP的curl更简洁高效。以下展示相关代码实现。

复制代码代码如下:

#_*_ coding:utf-8 _*_

import sys

reload(sys)

sys.setdefaultencoding( "utf-8" )

import os

import json

from urllib import urlopen

doc = urlopen("http://xxxx?webid=1&tid=901&cateid=101").read()

doc = json.loads(doc)

print doc

print doc.keys()

print doc["msg"]

print doc['data']

print doc['ret']

测试发现首次访问耗时为[Finished in 3.0s]
而第二次访问耗时缩短至[Finished in 0.2s]
由此可见，Python的urllib模块内部实现了缓存机制。
urllib/2用法的典型示例

复制代码代码如下:

    import urllib2
    import cookielib
    import urllib

class Hi_login: def __init__(self): cookie = cookielib.CookieJar() self.cookie = urllib2.HTTPCookieProcessor(cookie) ##### 生成cookie ###

def login(self,user,pwd): url='http://passport.baidu.com/?login' postdata=urllib.urlencode({ 'mem_pass':'on', 'password':pwd 'Submit':'', 'tpl':'sp', 'tp_reg':'sp', 'u' :'http://hi.baidu.com', 'username':user}) ### proxy_support = urllib2.ProxyHandler({"http":"http://ahad-haam:3128"}) 然后加入opener方法里#### opener = urllib2.build_opener(self.cookie) ### 使用cookie ### headers = { ####### dict结构，可以加入x-forward-for甚至refer等 ####### 'User-Agent':'Mozilla/5.0 (Windows; U; Windows NT 6.1; en-US; rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'} urllib2.install_opener(opener) request = urllib2.Request(url,urllib.urlencode(postdata),headers = headers) urllib2.urlopen(request) if __name__=='__main__': pwd='123456' user='xiaofu' test=Hi_login() test.login(user,pwd)

若需访问需要身份认证的页面（例如nagios监控后台），

复制代码代码如下:

    import urllib2

    password_mgr = urllib2.HTTPPasswordMgrWithDefaultRealm()

    url = "http://202.1.x.y/nagios"

    password_mgr.add_password(None, url, user='abc',passwd='xxxxxx')

    handler = urllib2.HTTPBasicAuthHandler(password_mgr)

    opener = urllib2.build_opener(handler)

    urllib2.install_opener(opener)

    f=urllib2.urlopen(url)

    print f.code

若返回状态码为200表示成功，若为401则表示认证错误。

希望本文所述的Python程序设计内容能对读者有所帮助。