使用Python xlwings读取Excel超链接并验证URL有效性
本文介绍如何利用Python的xlwings库读取Excel文件中的超链接,并通过发送HTTP请求验证链接有效性。文章详细说明了处理网页压缩、获取单元格超链接及标记无效链接的具体实现方法,为批量处理Excel数据提供了实用参考。
背景与需求
由于工作需要,需要对存储在Excel文件中的一批query内容进行有效性审核。这些query以页面Title的形式保存在单元格中,而对应的页面URL则通过HyperLink(超链接)格式与每个单元格关联。
解决方案概述
因此,自然想到使用Python读取Excel文件,对文本内容进行分析,然后对每个链接发起一次HttpRequest请求。通过分析HttpResponse的内容,可以判断当前链接是否有效。
工具选择与对比
经过搜索发现,目前较为主流的方法是使用xlrd插件。但在实际使用过程中,发现无论怎样操作,最终获取的hyperlink_map值始终为None,且没有足够时间去深入分析具体原因。最后,通过进一步搜索,发现了一个名为xlwings的Python库,它可以有效地解决这一问题。
xlwings简介
xlwings:Python For Excel
代码实现
具体实现代码如下:
核心代码解析
# -*- coding=utf-8 -*-
import xlwings as xw
import urllib
import sys
type = sys.getfilesystemencoding()
def get_html(url):
page = urllib.urlopen(url)
html = page.read()
return unzip(html)
## Debug的时候发现无论怎样做Decode,最后的结果都是乱码
## 后来发现是因为对应的网页做了压缩处理,所以需要对获取的网页内容手动解压缩
def unzip(data):
import gzip
import StringIO
data = StringIO.StringIO(data)
gz = gzip.GzipFile(fileobj=data)
data = gz.read()
gz.close()
return data
wb = xw.Book(r"C:\Users\hasee\Desktop\Test.xlsx")
main_data = wb.sheets["Sheet2"]
## 通过获取Last Cell来确定当前Sheet的有效行数与列数
rownum = main_data.range('A1').current_region.last_cell.row
colnum = main_data.range('A1').current_region.last_cell.column
## 定位column对应的列
col_dict = {"2":"B","3":"C","4":"D","5":"E","6":"F"}
for row in range(1, rownum + 1):
for col in range(2, colnum + 1):
query = main_data.range(row, 1).value
cell = main_data.range(row, col)
link = cell.hyperlink
html = get_html(link)
if "error-container" in html:
print "%s,%s,%s,%s" % (query, col_dict.get(str(col))+str(row), cell.value, cell.hyperlink)
## 对无效的链接所属的Cell染色,直接写入文件
cell.color = (253,218,4)
总结
以上就是本文的全部内容,希望对大家的学习有所帮助,也希望大家多多支持本站。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









