Python爬虫处理URL中字典与列表参数的编码方案

季宁

发布时间：2026-10-14| 6人浏览过

原创

本文探讨Python爬虫中URL包含字典或列表等非字符串参数时的编码问题。通过对比直接urlencode与先进行json序列化再urlencode两种方法，展示Python2环境下生成的URL差异，并建议当直接编码导致访问失败时，采用json序列化方式以确保参数正确解析。

URL复杂参数编码背景

在常规的URL请求中，参数通常以键值对（key-value）的形式存在，且值多为字符串类型。

若遇到需要将字典或列表等复杂数据结构作为参数传递的情况，处理起来会相对特殊。

Python2编码实现与对比

以下是Python2环境下的相关代码实现示例。


import json
from urllib import urlencode

# 1. 直接将url编码
params = {
  "name": "Tom",
  "hobby": ["ball", "swimming"],
  "books": [{"name": "语文", "pages": 20}]
}

print(urlencode(params))
"""
hobby=%5B%27ball%27%2C+%27swimming%27%5D&
books=%5B%7B%27name%27%3A+%27%5Cxe8%5Cxaf%5Cxad%5Cxe6%5Cx96%5Cx87%27%2C+%27pages%27%3A+20%7D%5D&
name=Tom
"""

# 2. 先用json序列化字典和列表参数
params = {
  "name": "Tom",
  "hobby": json.dumps(["ball", "swimming"]),
  "books": json.dumps([{"name": "语文", "pages": 20}])
}

print(urlencode(params))

"""
hobby=%5B%22ball%22%2C+%22swimming%22%5D&
books=%5B%7B%22name%22%3A+%22%5Cu8bed%5Cu6587%22%2C+%22pages%22%3A+20%7D%5D&
name=Tom
"""

对比上述两种方式的序列化结果，可以发现生成的URL参数格式存在差异。如果直接使用第一种方式生成的URL无法被服务器正常解析或访问，则建议采用第二种方式，即先对字典和列表进行json序列化，再进行url编码。