Python requests爬虫入门:发送GET与POST请求获取网页
面向初学者的 Python requests 网络爬虫入门教程。深入讲解如何使用 requests 发送 GET 与 POST 请求、传递参数与请求头、解析响应数据并处理编码与异常。
urllib 模块语法繁琐,而第三方库 requests 以简洁、直观的 API 成为抓取网页的首选工具。本文讲解如何使用 requests 发送最核心的 GET 与 POST 请求、传递参数与请求头、解析响应数据,并建立基础的异常防护机制。
一、准备环境与爬虫基本工作流
在使用 requests 之前,需要确认本地已经安装了 Python 环境。通过终端或命令行工具执行包管理命令即可完成安装:
pip install requests
编写爬虫程序通常由四个标准环节组成:定义目标网址与参数、伪装请求头并发送 HTTP 请求、接收服务器返回的响应对象、根据格式提取目标数据。整体调用链路清晰直接,各模块分工明确。
二、发送 GET 请求获取网页
GET 请求是 HTTP 协议中最常见的请求方式,主要用于从服务器检索或下载资源。在网络爬虫中,绝大多数新闻列表、博客文章以及公开页面的抓取都基于 GET 请求完成。
1. 最基础的 GET 请求代码
调用 requests.get(url) 即可发起请求,该方法会返回一个 Response 响应对象:
import requests
url = 'https://httpbin.org/get'
response = requests.get(url)
print("状态码:", response.status_code)
print("响应内容类型:", response.headers.get('Content-Type'))
print("前100字符:\n", response.text[:100])
2. 携带查询参数(params)
很多网页通过 URL 尾部的查询字符串(Query String)传递筛选条件,例如 https://example.com/search?keyword=python&page=2。如果手动拼接字符串,不仅容易出错,还需要对空格与特殊符号进行 URL 编码转义。
requests 提供了 params 参数,允许直接传入一个 Python 字典,库内部会自动完成键值对的拼接与编码:
import requests
url = 'https://httpbin.org/get'
query_params = {
'keyword': '爬虫开发',
'page': 1,
'limit': 20
}
response = requests.get(url, params=query_params)
print("实际请求的完整 URL:", response.url)
3. 正确处理响应内容与中文乱码
获取到 response 对象后,需根据返回内容的类型选择恰当的提取属性:
response.status_code:整数类型的 HTTP 状态码。值为 200 表示请求成功;403 代表服务器拒绝访问;404 代表目标资源不存在;500 代表服务端内部错误。response.text:字符串形式的响应体内容。requests 会根据 HTTP 标头猜测编码并自动解码。如果网页返回乱码,通常是因为猜测的编码与实际不一致。此时可通过response.encoding = response.apparent_encoding自动根据页面实际字节分析并修正编码。response.content:原始二进制字节数据(bytes类型)。在爬取图片、视频、PDF 文件时必须使用此属性,再写入本地二进制文件。response.json():若目标接口返回 JSON 字符串,调用该方法可直接反序列化为 Python 列表或字典,省去手动使用json.loads()的步骤。
三、发送 POST 请求提交数据
当目标网站需要提交表单、模拟用户登录或与异步交互式 API 对接时,通常需要使用 POST 请求。与 GET 请求将参数暴露在 URL 中不同,POST 请求将需要提交的数据封装在 HTTP 请求体(Request Body)内。
1. 提交表单数据(data 参数)
传统的 HTML 网页多使用 application/x-www-form-urlencoded 编码提交表单。在 requests 中,只需将待提交的数据字典赋值给 data 参数:
import requests
url = 'https://httpbin.org/post'
form_data = {
'username': 'tester_demo',
'auth_code': '987654'
}
response = requests.post(url, data=form_data)
result = response.json()
print("服务器接收到的 form 表单数据:", result.get('form'))
2. 提交 JSON 数据(json 参数)
现代前后端分离网站的大量 API 接口要求客户端发送 Content-Type: application/json 格式的数据。如果使用 data 参数传递,需要手动调用 json.dumps() 并在 headers 中显式声明格式。
requests 提供了更为便捷的 json 参数:直接将 Python 字典传入 json=...,库会自动将字典序列化为 JSON 字符串,并将请求标头中的 Content-Type 自动设置为 application/json:
import requests
url = 'https://httpbin.org/post'
payload = {
'action': 'query_records',
'filters': {'status': 'active', 'level': 2}
}
response = requests.post(url, json=payload)
result = response.json()
print("服务器识别的 Content-Type:", result.get('headers', {}).get('Content-Type'))
print("服务器解析出的 json 负载:", result.get('json'))
四、请求头伪装与网络交互生命周期
很多网站都有基础的反爬虫防护策略。如果不做任何配置直接使用 requests 发起请求,HTTP 请求头中的 User-Agent 会默认被标记为类似 python-requests/2.31.0。目标服务器的防火墙识别到该特征后,会立即返回 403 Forbidden 拒绝响应。
为了使请求表现得更贴近正常浏览器访问,需要在请求中注入常用的 headers 字段,其中核心是 User-Agent 和 Referer。
自定义 Headers 示例
通过构建一个字典并将其传给 headers 参数即可覆盖默认请求头:
import requests
url = 'https://httpbin.org/headers'
custom_headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36',
'Accept-Language': 'zh-CN,zh;q=0.9,en;q=0.8',
'Referer': 'https://www.google.com/'
}
response = requests.get(url, headers=custom_headers)
print("服务端收到的 User-Agent:\n", response.json()['headers']['User-Agent'])
五、提升爬虫健壮性的核心机制
编写爬虫脚本时,不能假设每一次网络连接都能瞬间完成。服务器响应迟缓、网络抖动、DNS 故障或连续重定向,都会直接导致脚本卡死或异常崩溃。
1. 设置请求超时(timeout)
若不设置超时参数,当目标服务器因为过载没有返回数据时,Python 进程会无限期保持等待。建议在所有生产代码中显式指定 timeout 参数(单位为秒):
import requests
try:
# 限制连接与读取总时间不超过 5 秒
response = requests.get('https://httpbin.org/delay/2', timeout=5)
print("请求成功,状态码:", response.status_code)
except requests.exceptions.Timeout:
print("请求超时,已安全跳过或触发重试")
2. 捕获常见网络异常
requests 拥有完善的异常层级体系。所有异常均继承自 requests.exceptions.RequestException。针对特定错误进行分流处理,能让程序在遇阻时平稳降级:
import requests
def safe_fetch(url):
try:
response = requests.get(url, timeout=5)
# 若状态码为 4xx 或 5xx 则主动抛出 HTTPError 异常
response.raise_for_status()
return response.text
except requests.exceptions.ConnectionError:
print("[错误] 网络连接失败,请检查 DNS 或网络链路")
except requests.exceptions.Timeout:
print("[错误] 目标服务器响应超时")
except requests.exceptions.HTTPError as err:
print(f"[错误] HTTP 状态异常: {err}")
except requests.exceptions.RequestException as err:
print(f"[错误] 请求发生未知异常: {err}")
return None
3. 使用 Session 维持连接与 Cookie
如果连续向同一个站点发送多个请求(例如先发送 POST 登录、再发送多个 GET 抓取个人中心),直接调用 requests.get() 会为每个请求重新建立 TCP 连接,且不会保留登录产生的 Cookie。使用 requests.Session() 对象可以复用底层的 TCP 连接池,并自动在多次请求间持久化 Cookie 状态:
import requests
# 创建会话对象
session = requests.Session()
session.headers.update({
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64)'
})
# 第一次请求设置了 Cookie(在真实场景中通常是登录接口)
session.get('https://httpbin.org/cookies/set/auth_user/alice')
# 第二次请求自动携带已保存的 Cookie
response = session.get('https://httpbin.org/cookies')
print("当前会话包含的 Cookies:", response.json())
六、快速总结与开发检查表
掌握 GET 与 POST 请求是进行网络爬虫开发的第一步。在实际编写爬虫时,可以参照以下检查表逐项核对代码设置:
| 检查项 | 推荐设置 / 做法 | 目的与作用 |
|---|---|---|
| 请求方法选择 | 获取数据用 GET,提交表单或复杂条件用 POST | 遵循 HTTP 语义与服务端接口规范 |
| 参数传递方式 | GET 使用 params=dict;POST 表单用 data=dict,JSON 接口用 json=dict |
避免手动拼接字符串,确保编码准确无误 |
| 伪装标头 | 设置 User-Agent 与必要的 Referer |
消除默认爬虫标识,避免被直接拦截 |
| 状态码核验 | 检查 response.status_code == 200 或调用 raise_for_status() |
确保只解析有效内容,避免对错误页进行空处理 |
| 中文编码处理 | 遇到乱码时设置 response.encoding = response.apparent_encoding |
使用页面实际内容检测到的编码替换猜测编码 |
| 进程挂起防御 | 每个网络请求都显式指定 timeout(如 5 到 10 秒) |
防止服务端无响应时脚本无限期阻塞 |
| 多步会话保持 | 多接口连续请求或维持登录态时使用 requests.Session() |
自动维持 Cookie 并复用 TCP 连接池,提升运行效率 |
通过合理结合 GET 与 POST 请求,并为每个请求配置合适的标头、超时与异常兜底,即可应对绝大部分静态网页和基于 API 的数据抓取任务。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









