Python使用BeautifulSoup和requests爬取招投标网站数据

拾光

发布时间：2026-10-13| 4人浏览过

原创

本文详细介绍如何使用Python的requests库发起HTTP请求，并结合BeautifulSoup解析HTML页面，从指定的招投标网站中提取链接、标题及时间等关键信息。文章提供了完整的代码示例及运行结果分析，适合希望学习基础网络爬虫开发的开发者参考。

Python爬虫实现概述

本文分享一个基于Python实现的爬虫示例，主要依赖BeautifulSoup和requests两个库。内容仅供学习参考。

本次爬取的目标网址为：http://www.qianlima.com/zb/area_305/

该网站为招投标信息平台。我们的Python脚本旨在提取图中红框标注的数据，具体包括链接地址、链接标题以及发布时间这三项内容。

实现该功能所需的Python第三方库包括：BeautifulSoup和requests。

代码实现与运行结果

具体实现代码如下：


# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
url = 'http://www.qianlima.com/zb/area_305/'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36'
headers = { 'User-Agent' : user_agent}
r = requests.get(url,headers=headers)#连接
content = r.text#获取内容，自动转码unicode
soup = BeautifulSoup(content,"lxml")
tags1 = soup.select('div .shixian_zhaobiao')
tag1 = tags1[0]
tag2 = tag1.find(name = 'dl')
tags2 = tag2.find_all(name = 'a')
tags3 = tag2.find_all(name = 'dd')
for tag in tags2:
 print tag.get('href')
 print tag.string
 print tag.next_element.next_element.string

程序运行后的输出结果如下：

如需了解更多Python相关技术，可查阅本站系列教程，包括《Python Socket编程技巧总结》、《Python正则表达式用法总结》、《Python数据结构与算法教程》、《Python函数使用技巧总结》、《Python字符串操作技巧汇总》、《Python入门与进阶经典教程》以及《Python文件与目录操作技巧汇总》。

期望本文的内容能对读者的Python编程实践提供有益帮助。