Python3 使用 BeautifulSoup 递归爬取网站所有 URL 的实现方法

拾柒

发布时间：2026-10-13| 3人浏览过

原创

本文介绍如何使用 Python3 结合 requests 和 BeautifulSoup 库，通过递归方式爬取指定网站下的所有 URL 链接。文章详细解析了从首页提取初始链接、遍历子页面获取新链接，以及利用递归函数处理深层页面的完整流程，并提供了完整的可运行代码示例，帮助开发者快速实现网站链接抓取功能。

Python3 递归爬取网站 URL 实现方案

首先获取首页的元素信息：

设定目标网站地址为：http://www.xxx.com.cn/

通过浏览器检查元素功能，可以发现我们需要爬取的链接位于 a 标签内。因此，通过获取链接路径并定位相关元素，即可提取出所需的信息。

首页元素解析与初始链接提取


soup = Bs4(reaponse.text, "lxml")
urls_li = soup.select("#mainmenu_top > div > div > ul > li")

接下来获取首页的 URL 链接：

完成首页 URL 链接的获取后，具体实现代码如下：

获取首页 URL 的具体代码实现


'''
遇到不懂的问题？Python学习交流群：821460695满足你的需求，资料都已经上传群文件，可以自行下载！
'''
def get_first_url():
  list_href = []
  reaponse = requests.get("http://www.xxx.com.cn", headers=headers)
  soup = Bs4(reaponse.text, "lxml")
  urls_li = soup.select("#mainmenu_top > div > div > ul > li")
  for url_li in urls_li:
    urls = url_li.select("a")
    for url in urls:
      url_href = url.get("href")
      list_href.append(head_url+url_href)
      out_url = list(set(list_href))
  for reg in out_url:
    print(reg)

对第一次返回的结果进行遍历处理：

基于第二步获取到的 URL 列表，遍历请求每一个页面，从中提取页面内的 URL 链接，并过滤掉不符合要求的无效信息。

具体实现代码如下：

子页面 URL 遍历与过滤逻辑


def get_next_url(urllist):
  url_list = []
  for url in urllist:
    response = requests.get(url,headers=headers)
    soup = Bs4(response.text,"lxml")
    urls = soup.find_all("a")
    if urls:
      for url2 in urls:
        url2_1 = url2.get("href")
        if url2_1:
          if url2_1[0] == "/":
            url2_1 = head_url + url2_1
            url_list.append(url2_1)
            if url2_1[0:24] == "http://www.xxx.com.cn":
              url2_1 = url2_1
              url_list.append(url2_1)
            else:
              pass
          else:
            pass
        else:
          pass
    else:
      pass
  url_list2 = set(url_list)
  for url_ in url_list2:
    res = requests.get(url_)
    if res.status_code ==200:
      print(url_)
  print(len(url_list2))

采用递归循环遍历的方式：

通过递归实现所有 URL 的爬取。在 get_next_url() 函数中调用自身，具体代码如下：

递归调用实现全量 URL 爬取


get_next_url(url_list2)

完整的代码汇总如下：

完整可运行代码示例


import requests
from bs4 import BeautifulSoup as Bs4

head_url = "http://www.xxx.com.cn"
headers = {
  "User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.121 Safari/537.36"
}
def get_first_url():
  list_href = []
  reaponse = requests.get(head_url, headers=headers)
  soup = Bs4(reaponse.text, "lxml")
  urls_li = soup.select("#mainmenu_top > div > div > ul > li")
  for url_li in urls_li:
    urls = url_li.select("a")
    for url in urls:
      url_href = url.get("href")
      list_href.append(head_url+url_href)
      out_url = list(set(list_href))
  return out_url


def get_next_url(urllist):
  url_list = []
  for url in urllist:
    response = requests.get(url,headers=headers)
    soup = Bs4(response.text,"lxml")
    urls = soup.find_all("a")
    if urls:
      for url2 in urls:
        url2_1 = url2.get("href")
        if url2_1:
          if url2_1[0] == "/":
            url2_1 = head_url + url2_1
            url_list.append(url2_1)
            if url2_1[0:24] == "http://www.xxx.com.cn":
              url2_1 = url2_1
              url_list.append(url2_1)
            else:
              pass
          else:
            pass
        else:
          pass
    else:
      pass
  url_list2 = set(url_list)
  for url_ in url_list2:
    res = requests.get(url_)
    if res.status_code ==200:
      print(url_)
  print(len(url_list2))
  get_next_url(url_list2)


if __name__ == "__main__":
  urllist = get_first_url()
  get_next_url(urllist)

以上即为 Python3 实现爬取网站下所有 URL 的完整方法，希望以上内容能为您提供参考，并欢迎大家继续支持本站。