Python抓取多格式文档实战：TXT、CSV、PDF与Word解析指南
本文汇总了基于Python3抓取多种非HTML文档的方法。涵盖TXT文件的正则检索、CSV文件的远程读取与字典解析、利用pdfminer3k提取PDF文本，以及通过解压DOCX文件并解析XML获取Word内容。文章提供具体代码示例，解决编码、远程加载及格式转换等常见问题，辅助开发者完善数据采集能力。
HTML文档构成了互联网的主要内容，但实际业务中常需处理TXT、Word、Excel、PDF及CSV等多种格式文件。网络爬虫不仅需提取HTML中的关键信息，还应具备抓取其他类型文档的能力。本文简要梳理了基于Python3的几种常见抓取策略，供后续查阅参考。
1. 抓取TXT文档
在Python3环境中，常用做法是使用urllib.request.urlopen直接获取目标资源，随后结合正则表达式等工具进行敏感词或特定内容的检索。
### Reading TXT doc ###
from urllib.request import urlopen
from urllib.error import URLError,HTTPError
import re
try:
textPage = urlopen("http://www.pythonscraping.com/pages/warandpeace/chapter1.txt")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
#print(textPage.read())
text = str(textPage.read())
#下面方法用正则匹配含1805的句子
pattern = re.compile("\..*1805(\w|,|\s|-)*(\.)")#不完美，简单示例
match = pattern.search(text)
if match is not None:
print(match.group())
#下面方法不用正则。先用.将句集分片，之后就可遍历了。
ss = text.split('.')
key_words = "1805"
words_list = [x.lower() for x in key_words.split()]
for item in ss:
if all([word in item.lower() and True or False for word in words_list]):
print(item)
上述方法适用于已知目标为TXT文本的场景。在实际自动化抓取中，必须判断目标网页是否为纯文本，并确认其编码格式。
若仅涉及编码差异，可通过print(textPage.read(),'utf-8')等Python字符处理手段解决；若抓取对象为HTML页面，建议先进行分析，例如：
from urllib.request import urlopen
from urllib.error import URLError,HTTPError
from bs4 import BeautifulSoup
try:
html = urlopen("https://en.wikipedia.org/wiki/Python_(programming_language)")
except (URLError,HTTPError) as e:
print(e)
try:
bsObj = BeautifulSoup(html,"html.parser")
content = bsObj.find("div",{"id":"mw-content-text"}).get_text()
except AttributeError as e:
print(e)
meta = bsObj.find("meta")
#print(bsObj)
if meta.attrs['charset'] == 'UTF-8':
content = bytes(content,"UTF-8")
print("-----------------UTF-8--------------")
print(content.decode("UTF-8"))
if meta.attrs['charset'] == 'iso-8859-1':
content = bytes(content,"iso-8859-1")
print("--------------iso-8859-1------------")
print(content.decode("iso-8859-1"))
2. 抓取CSV文档
CSV是常见的数据归档格式，与TXT类似但具有特定结构：首行为标题列，后续每行代表一条数据记录，类似于二维数据表或Excel表格。Python3内置csv解析库可读写本地CSV，但读取远程网络CSV需先通过urllib.request.urlopen获取数据。示例如下：
#csv远程获取，内存加载读取
from urllib.request import urlopen
import csv
from io import StringIO#在内存中读写str，如果要操作二进制数据，就需要使用BytesIO
try:
data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
count = 0
for row in csvReader:
if count < 10:
print(row)
else:
print("...\n...")
break
count += 1
#将数据写入本地csv文件
with open("./localtmp.csv","wt",newline='',encoding='utf-8') as localcsvfile:
writer = csv.writer(localcsvfile)
count = 0
try:
for row in csvReader:
if count < 10:
writer.writerow(row)
else:
break
count += 1
finally:
localcsvfile.close()
CSV文档的首行标题需特殊处理，csv.DictReader能有效解决此问题。该函数将读取的行转换为Python字典对象而非列表，标题行的各列名即作为字典的键名。
#csv.DictReader读取csv文件，可以有效处理标题行等问题
from urllib.request import urlopen
import csv
from io import StringIO#在内存中读写str，如果要操作二进制数据，就需要使用BytesIO
try:
data = urlopen("http://pythonscraping.com/files/MontyPythonAlbums.csv").read().decode("ascii","ignore")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
dataFile = StringIO(data)
csvReader = csv.reader(dataFile)
dictReader = csv.DictReader(dataFile)
print(dictReader.fieldnames)
count = 0
for row in dictReader:
if count < 10:
print(row)
else:
print("...\n...")
break
count += 1
3. 抓取PDF文档
远程抓取并操作PDF文档，可借助流行的pdfminer3k库完成。
#抓取并操作pdf
#pdf READ operation
from urllib.request import urlopen
from pdfminer.pdfinterp import PDFResourceManager,process_pdf
from pdfminer.converter import TextConverter
from pdfminer.layout import LAParams
from io import StringIO,open
def readPDF(filename):
resmgr = PDFResourceManager()#STEP 1
retstr = StringIO()#STEP 2
laparams = LAParams()#STEP 3
device = TextConverter(resmgr,retstr,laparams=laparams)#STEP 4
process_pdf(resmgr,device,filename)#STEP 5
device.close()#STEP 6
content = retstr.getvalue()
retstr.close()
return content
try:
pdffile = urlopen("http://www.fit.vutbr.cz/research/groups/speech/servite/2010/rnnlm_mikolov.pdf")
except (URLError,HTTPError) as e:
print("Errors:\n")
print(e)
outputString = readPDF(pdffile)#也可以读取由pdffile=open("../../readme.pdf")语句打开的本地文件。
print(outputString)
pdffile.close()
4. 抓取Word文档
旧版Word采用二进制格式，后缀为.doc；Word 2007之后引入类似OpenOffice的类XML格式，后缀为.docx。Python对Word文档的支持尚不完善，目前无完美解决方案。读取docx内容可采用以下步骤： （1）利用urlopen抓取远程Word docx文件； （2）将其转换为内存字节流； （3）解压缩（docx本质为压缩文件）； （4）将解压后的文件作为XML读取； （5）定位XML中的标签（正文内容）并进行处理。
#读取word docx文档内容
from zipfile import ZipFile
from urllib.request import urlopen
from io import BytesIO
from bs4 import BeautifulSoup
wordFile = urlopen("http://pythonscraping.com/pages/AWordDocument.docx").read()
wordFile = BytesIO(wordFile)
document = ZipFile(wordFile)#
xml_content = document.read("word/document.xml")
#print(xml_content.decode("utf-8"))
wordObj = BeautifulSoup(xml_content.decode("utf-8"),"lxml")
textStrings = wordObj.findAll("w:t")
for textElem in textStrings:
print(textElem.text)
5. 抓取EXCEL
6. 抓取HTML源文档
7. 抓取HTML表单数据
8. 抓取Javascript数据
更多详细内容请参考专题《python爬取功能汇总》以深入学习。
以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
