Python requests 获取网页源码的通用框架与 Cookie 处理

闻溪

发布时间：2026-10-13| 2人浏览过

原创

本文详解使用 Python requests 模块获取网页源码的标准流程。通过封装 Crawler 类，演示如何自动获取并持久化站点 Cookie，利用 dict_from_cookiejar 转换格式以便后续请求携带。核心方法 get_html_text 实现了通用的爬取框架，包含状态码校验、编码自动识别及异常处理，为构建稳定爬虫提供基础代码参考。

Python requests 网页抓取与 Cookie 处理实战

本文深入解析利用 Python requests 库获取网页内容的常用技巧，通过详细的示例代码展示具体实现方式，旨在为读者的学习或实际工作提供具有参考价值的技术指南。

核心内容聚焦于如何使用 requests 模块高效获取网页源码，并记录关键操作步骤。


class Crawler(object):
 """
 采集类
 """
 def __init__(self, base_url):
  self._base_url = base_url
  self._cookie = None
  self._getCookie()

 def _getCookie(self):
  """
  获取站点cookie
  :return:
  """
  try:
   res = requests.get(self._base_url)
   res.raise_for_status()
   # TODO response.cookies获取到的是一个cookiejar对象，需要使用requests.utils.dict_from_cookiejar来
   # TODO 将cookiejar对象转换为一个字典，这个字典后续使用的时候，在请求时直接传入就可以了，
   # 如 requests.get(url, cookies=cookies)
   self._cookie = requests.utils.dict_from_cookiejar(res.cookies)
   print self._cookie
  except Exception as e:
   print e

 def get_html_text(self, url, **kwargs):
  """
  爬取网页的通用代码框架
  :param url:
  :param method:
  :param kwargs:
  :return:
  """
  try:
   kwargs.setdefault('cookies', self._cookie)
   res = requests.get(url, **kwargs)
   # TODO 若响应状态码不是200, 抛出 HTTPError 异常
   res.raise_for_status()
   res.encoding = res.apparent_encoding
   # print requests.utils.dict_from_cookiejar(res.cookies)
   return res.text
  except Exception as e:
   print traceback.print_exc()
   return

以上为本文全部技术要点，希望能为读者的技术积累提供助力，同时也欢迎读者持续关注本站以获取更多优质内容。