Python爬虫urllib库基础用法详解
本文详细介绍Python内置爬虫库urllib的核心模块。涵盖urllib.request的urlopen()与urlretrieve()方法，演示GET/POST请求及文件下载；解析urllib.parse的urlencode、urlparse等URL处理函数；并讲解urllib.error中URLError与HTTPError的区别及捕获规范。基于Python 3.7.4环境，提供完整代码示例与参数说明。
综述
本系列文档旨在简要讲解Python爬虫技术，既用于巩固作者自身的技术知识，也希望能恰好对读者有所帮助。
本文涉及的Python环境版本为3.7.4。
urllib库介绍
作为Python内置的HTTP请求库，urllib无需额外安装即可直接使用。它主要包含四个模块，本文重点学习前三个：
- request：最基础的HTTP请求模块，用于模拟发送请求。只需向库方法传入URL及额外参数，即可实现类似浏览器输入网址并回车获取响应的过程。
- error：异常处理模块。当请求出现错误时，可通过捕获这些异常进行重试或其他操作，确保程序不会意外终止。
- parse：用于URL解析，提供多种URL处理方法，包括拆分、解析、合并以及参数拼接等。
- robotparser：主要用于识别网站的robots.txt协议文件，判断哪些数据可以抓取、哪些不可抓取。该模块在实际使用中较少见。
urllib.request 介绍
urlopen()
1.参数说明(仅列出四个最常用参数)
url：目标爬取URL； data：请求参数。若设置此参数，默认使用POST请求；未设置则默认为GET请求； timeout：设置超时时间，单位为秒； context：必须为ssl.SSLContext类型，用于指定SSL设置，可忽略未认证的CA证书。
2.具体用法
GET 请求方式
# 导入urllib库
import urllib.request
# 向指定的url发送请求，并返回服务器响应的类文件对象
url = "http://www.baidu.com"
response = urllib.request.urlopen(url=url)
print(type(response))
# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串
html = response.read()
# html = response.readline() # 读取一行
# html = response.readlines() # 读取多行，返回列表
# 打印响应结果（byte类型）
print(html)
# 打印响应结果（utf-8类型）
# 二进制和字符串之间的相互转码使用 encode() 和 decode() 函数
# encode() 和 decode() 可带参数，不写默认utf-8，其他不再特别说明
print(html.decode())
# 打印状态码
# print(response.get_code())
print(response.status)
# 获取响应头
print(response.getheaders())
# 获取响应头Server信息
print(response.getheader('Server'))
# 获取响应结果原因
print(response.reason)
POST 请求方式
# 导入urllib库
import urllib.parse
import urllib.request
# 向指定的url发送请求，并返回
post_url = 'https://fanyi.baidu.com/sug'
# 传入参数
form_data = {
'kw': 'honey'
}
# 格式化参数
form_data = urllib.parse.urlencode(form_data).encode()
response = urllib.request.urlopen(url=post_url, data=form_data)
# 打印服务器响应的类文件对象
print(type(response))
# 类文件对象支持文件对象的操作方法，如read()方法读取文件全部内容，返回字符串
html = response.read()
# 打印响应结果（byte类型）
print(html)
# 打印响应结果（utf-8类型）
print(html.decode())
# 打印状态码
print(response.status)
# print(response.getcode())
# 获取响应头
print(response.getheaders())
# 获取响应头Server信息
print(response.getheader('Server'))
# 获取响应结果原因
print(response.reason)
urlretrleve()
1.参数说明
url：下载链接地址； filename：指定本地保存路径。若未指定参数，urllib会生成临时文件保存数据； reporthook：回调函数。当连接服务器及数据块传输完毕时触发，可利用此函数显示当前下载进度； data：发送至服务器的POST数据。该方法返回包含两个元素的元组(filename, headers)，其中filename表示本地保存路径，headers表示服务器响应头。
2.具体用法
# 引入所需要的库
import os
import urllib.request
# 定义回调函数
def call_back(a, b, c):
"""
图片下载回调
:param a: 已经下载的数据块
:param b: 数据块的大小
:param c: 远程文件的大小
:return:
"""
per = 100.0 * a * b / c
if per > 100:
per = 100
print('%.2f%%' % per)
# 定义下下载的地址
url = 'http://www.baidu.com'
# 构造文件保存路径
path = os.path.abspath('.')
file_path = os.path.join(path, 'baidu.html')
# 进行下载
urllib.request.urlretrieve(url, file_path, call_back)
urllib.parse 介绍
urlencode()
1.参数说明
query：URL参数，可以是字符串或字典； encoding：编码方式。
2.具体用法
# 引入所需要的库
import urllib.parse
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 进行编码
ret = urllib.parse.urlencode(data)
print(ret)
parse_s()
1.参数说明
qs：URL参数，为编码后的字符串； encoding：字符编码方式。
2.具体用法
# 引入所需要的库
import urllib.parse
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 进行编码
ret1 = urllib.parse.urlencode(data)
print(ret1)
# 进行解码
ret2 = urllib.parse.parse_qs(ret1)
print(ret2)
urlparse()
1.参数说明
url：URL地址字符串。
2.具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 进行url解析
ret = urllib.parse.urlparse(url)
print(ret)
print('scheme:', ret.scheme) # 协议
print('netloc:', ret.netloc) # 域名服务器
print('path:', ret.path) # 相对路径
print('params:', ret.params) # 路径端参数
print('fragment:', ret.fragment) # 片段
print('query:', ret.query) # 查询
# urlunparse() 与 urlparse() 对应相反函数
# 使用urlparse的格式组合成一个url，可以直接将urlparse的返回传递组合
ret1 = urllib.parse.urlunparse(ret)
print(ret1)
urlsplit()
1.参数说明
url：URL地址字符串。
2.具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/s?wd=urlparse&rsv_spt=1&rsv_iqid=0x921f00fe005646ef&issp=1&f=8"
# 进行url解析
ret = urllib.parse.urlsplit(url)
print(ret)
print('scheme:', ret.scheme) # 协议
print('netloc:', ret.netloc) # 域名服务器
print('path:', ret.path) # 相对路径
print('fragment:', ret.fragment) # 片段
print('query:', ret.query) # 查询
# urlunsplit() 与 urlsplit() 对应相反函数
# 使用urlsplit的格式组合成一个url，可以直接将urlsplit的返回传递组合
ret1 = urllib.parse.urlunsplit(ret)
print(ret1)
# 此函数和urlparse函数的区别在于此函数没有params
urljoin()
1.参数说明
qs：URL参数，为编码后的字符串； encoding：字符编码方式。
2.具体用法
# 引入所需要的库
import urllib.parse
# 声明url
url = "https://www.baidu.com/"
# 参数数据
data = {
'name': '张三',
'age': 26
}
# 格式化参数
data = urllib.parse.urlencode(data)
# 进行url拼接
ret = urllib.parse.urljoin(url, data)
print(ret)
urllib.error 介绍
在爬虫发送请求时，难免遇到访问不到服务器或被禁止访问等错误。error模块主要分为URLError和HTTPError两类：
1.URLError
常见原因包括： 无网络连接； 服务器链接失败； 找不到指定服务器。
2.HTTPError
它是URLError的子类。
3.两者区别和联系
1）URLError封装的错误信息通常由网络问题引起，包括URL错误； 2）HTTPError封装的错误信息通常由服务器返回的错误状态码引起； 3）URLError是OSError的子类，HTTPError是URLError的子类； 4）【注意】在同时捕获这两种异常时，必须将子类（HTTPError）放在父类（URLError）之前进行捕获。
用法
# 引入所需要的库 import urllib.error import urllib.request # 一个访问异常的url url = 'https://www.mz.com/156427/100' # 捕获异常 try: ret = urllib.request.urlopen(url) print(ret) except urllib.error.HTTPError as e: print(e.getcode()) except urllib.error.URLError as e: print(e)
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
