Python使用BeautifulSoup和Requests爬取网页表格数据实战

Mason

发布时间：2026-10-13| 3人浏览过

原创

本文详细介绍如何利用Python的Requests库获取网页源码，并结合BeautifulSoup解析HTML结构以提取表格数据。通过定义检查链接、获取内容及保存文件三个核心函数，实现将网页中的表格信息清洗后写入本地CSV文件的完整流程，适合初学者参考学习。

本文分享一段使用Python语言抓取网页表格数据的代码示例，供读者参考，具体实现细节如下文所述。

from bs4 import BeautifulSoup 
import requests 
import csv 
import bs4 
 
 
#检查url地址 
def check_link(url): 
 try: 
   
  r = requests.get(url) 
  r.raise_for_status() 
  r.encoding = r.apparent_encoding 
  return r.text 
 except: 
  print('无法链接服务器！！！') 
 
 
#爬取资源 
def get_contents(ulist,rurl): 
 soup = BeautifulSoup(rurl,'lxml') 
 trs = soup.find_all('tr') 
 for tr in trs: 
  ui = [] 
  for td in tr: 
   ui.append(td.string) 
  ulist.append(ui) 
  
#保存资源 
def save_contents(urlist): 
 with open("D:/2016年中国企业500强排行榜.csv",'w') as f: 
  writer = csv.writer(f) 
  writer.writerow(['2016年中国企业500强排行榜']) 
  for i in range(len(urlist)): 
   writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]]) 
def main(): 
 urli = [] 
 url = "http://www.maigoo.com/news/463071.html" 
 rs = check_link(url) 
 get_contents(urli,rs) 
 save_contents(urli) 
 
main()

以上即为本文介绍的全部内容，希望这段代码能对读者的学习有所启发。同时也欢迎大家继续支持本站，获取更多技术资源。