Python 实现爬取需要登录的网站完整示例

季宁

发布时间：2026-10-13| 3人浏览过

原创

本文介绍使用 Python 的 requests 库和 lxml 解析器，通过保持 Session 状态和处理 CSRF Token，实现登录 Bitbucket 并爬取受保护页面内容的完整流程。代码展示了从获取登录页、提取令牌、提交凭证到抓取目标数据的标准操作步骤，适用于需要身份验证的网页数据抓取场景。

本文通过一个具体实例，详细讲解如何利用 Python 编写程序来抓取那些强制要求用户登录的网站数据。该方案旨在为开发者提供一套可参考的实现逻辑，帮助解决身份验证带来的抓取难题。

import requests
from lxml import html
# 创建 session 对象。这个对象会保存所有的登录会话请求。
session_requests = requests.session()
# 提取在登录时所使用的 csrf 标记
login_url = "https://bitbucket.org/account/signin/?next=/"
result = session_requests.get(login_url)
tree = html.fromstring(result.text)
authenticity_token = list(set(tree.xpath("//input[@name='csrfmiddlewaretoken']/@value")))[0]
payload = {
  "username": "<你的用户名>",
  "password": "<你的密码>",
  "csrfmiddlewaretoken": authenticity_token # 在源代码中，有一个名为 “csrfmiddlewaretoken” 的隐藏输入标签。
}
# 执行登录
result = session_requests.post(
  login_url,
  data = payload,
  headers = dict(referer=login_url)
)
# 已经登录成功了，然后从 bitbucket dashboard 页面上爬取内容。
url = 'https://bitbucket.org/dashboard/overview'
result = session_requests.get(
  url,
  headers = dict(referer = url)
)
# 测试爬取的内容
tree = html.fromstring(result.content)
bucket_elems = tree.findall(".//span[@class='repo-name']/")
bucket_names = [bucket.text_content.replace("n", "").strip() for bucket in bucket_elems]
print(bucket_names)

如需进一步了解 Python 在相关领域的技巧，建议查阅本站提供的系列教程，包括《Python Socket 编程技巧总结》、《Python 数据结构与算法教程》、《Python 函数使用技巧总结》、《Python 字符串操作技巧汇总》、《Python 入门与进阶经典教程》以及《Python 文件与目录操作技巧汇总》。

期望上述内容能为从事 Python 程序设计的朋友提供实质性的帮助与启发。