Python爬虫 urllib2 基础用法与Request对象详解

慢慢来

发布时间：2026-10-13| 6人浏览过

原创

本文详解Python 2中urllib2模块的核心用法，涵盖urlopen基础请求、Request对象构造及HTTP报头设置。通过实例演示如何获取网页源码、添加User-Agent伪装浏览器身份，并处理POST数据与自定义Header，帮助开发者掌握基本的网页抓取技巧。

urllib2模块简介与基础抓取

网页抓取是指从网络流中读取指定URL地址对应的资源并保存至本地的过程。Python提供了多种库用于实现网页抓取，本文首先介绍urllib2模块的使用方法。

urllib2是Python 2.x版本内置的标准库，无需额外安装，直接导入即可使用。

urllib2的官方文档地址为：https://docs.python.org/2/library/urllib2.html

查看urllib2源码

注意，在Python 3.x版本中，urllib2模块已被拆分并重构为urllib.request和urllib.error模块。

urlopen函数

首先展示一段基础代码示例：


#-*- coding:utf-8 -*-
#01.urllib2_urlopen.py
#导入urllib2库
import urllib2
#向指定的url发送请求，并返回服务器的类文件对象
response = urllib2.urlopen("http://www.baidu.com")
#类文件对象支持文件对象的操作方法，如read()方法读取文件
html = response.read()
#打印字符串
print(html)

执行上述Python代码后，终端将打印出抓取到的网页内容。


python2 01.urllib2_urlopen.py

如果在浏览器中打开百度首页并右键选择“查看源代码”，会发现其内容与代码打印结果完全一致。这表明仅用4行Python代码即可完整抓取百度首页的源码，实现一个基本的URL请求非常简单。

使用Request对象构造请求

Request对象

参考官方文档中关于URL用法的说明：


urllib2.urlopen(url[, data[, timeout[, cafile[, capath[, cadefault[, context]]]]])
Open the URL url, which can be either a string or a Request object.

在第一个示例中，urlopen()函数的参数直接是一个字符串类型的URL地址。

然而，若需执行更复杂的操作（例如添加HTTP报头），则必须创建一个Request实例作为urlopen()的参数，而目标URL地址则作为Request实例的初始化参数。


#-*- coding:utf-8 -*-
#02.urllib2_request.py

import urllib2

#url作为Request()方法的参数，构造并返回一个Request对象
request = urllib2.Request("http://www.baidu.com")

#Request对象作为一个urlopen()方法的参数，发送给服务器并接收响应
response = urllib2.urlopen(request)

html = response.read()

print(html)

运行结果与直接使用URL字符串完全相同：

创建Request实例时，除了必须提供url参数外，还可以设置另外两个可选参数：

data（默认为空）：用于提交伴随URL的数据（如POST请求中的数据），此时HTTP请求方式将从默认的“GET”变为“POST”。 headers（默认为空）：是一个字典，包含需要发送的HTTP报头的键值对。这两个参数的具体用法将在后续章节详细介绍。

设置User-Agent与自定义Header

User-Agent设置

直接使用urllib2发送请求略显突兀，这好比路人直接闯入他人住宅，不仅不礼貌，还可能被站点拒绝访问，因为许多网站会拦截非人为的程序化访问。

为了获得站点的欢迎，我们需要为代码赋予一个合法的身份，即设置User-Agent（用户代理）头信息。

浏览器是互联网公认的标准访问身份。若希望爬虫程序更像真实用户，第一步便是伪装成主流浏览器。不同浏览器发送请求时携带的User-Agent头不同。urllib2默认的User-Agent格式为：Python-urllib/x.y（其中x和y分别代表Python的主版本号和次版本号，例如Python-urllib/2.7）。


#-*- coding:utf-8 -*-
#03.urllib2_useragent.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent,包含ua-header里
ua_header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}

# url连同headers,一起构造Request请求，这个请求将附带IE9.0浏览器的User-Agent
request = urllib2.Request(url, headers = ua_header)

#向服务器发送这个请求
response = urllib2.urlopen(request)

html = response.read()

print(html)

添加更多Header信息

在HTTP Request中嵌入特定的Header，可以构造一个完整的HTTP请求。

可以通过调用Request.add_header()方法来添加或修改特定的Header，也可以调用Request.get_header()方法来查看现有的Header信息。

添加特定Header的示例代码：


#-*- coding:utf-8 -*-
#04.urllib2_headers.py

import urllib2

url = "http://www.itcast.cn"

#IE 9.0的User-Agent
header = {"User-Agent":"Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Trident/5.0;"}
request =urllib2.Request(url, headers = header)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("Connection","keep-alive")

#也可以通过调用Request.get_header()来查看header信息
request.get_header(header_name = "Connection")

response = urllib2.urlopen(request)
print(response.code)  #可以查看响应状态码

html = response.read()
print(html)

  随机添加/修改User-Agent

#-*- coding:utf-8 -*-
#05.urllib2_add_headers.py

import urllib2
import random

url = "http://www.itcast.cn"

ua_list = [
  "Mozilla/5.0 (Windows NT 6.1; ) Apple.... ",
  "Mozilla/5.0 (X11; CrOS i686 2268.111.0)... ",
  "Mozilla/5.0 (Macintosh; U; PPC Mac OS X.... ",
  "Mozilla/5.0 (Macintosh; Intel Mac OS... "
]

user_agent = random.choice(ua_list)

request = urllib2.Request(url)

#也可以通过调用Request.add_header()添加/修改一个特定的header
request.add_header("User-Agent", user_agent)

#第一个字母大写，后面的全部小写
request.add_header("User-agent")

response = urllib2.urlopen(req)

html = response.read()

print(html)

注意事项