Python使用正则与XPath提取网页Title的方法

拾光

发布时间：2026-10-13| 6人浏览过

原创

本文介绍如何使用Python的re模块和lxml模块提取指定URL页面的title。通过对比正则表达式与XPath两种方法，重点解决特殊页面编码冲突导致的乱码问题，提供完整的代码实现与结果展示，帮助开发者高效获取网页标题信息。

本文简要演示了如何利用Python中的re模块和lxml模块，分别通过正则表达式和XPath语法解析网页源码，从而提取目标页面的title。在实际操作中，XPath处理此类轻量级任务时效率显著。此处引入正则表达式的原因在于，当页面存在特殊编码且与UTF-8转换产生冲突时，XPath可能会引发乱码现象。这并非XPath本身的缺陷，而是源页面编码格式所致。具体实现代码如下：

# !/usr/bin/python
#-*-coding:utf-8-*-
'''
功能：抽取指定url的页面内容中的title
'''
import re
import chardet
import urllib
from lxml import etree
def utf8_transfer(strs):
 '''
 utf8编码转换
 '''
 try:
  if isinstance(strs, unicode):
   strs = strs.encode('utf-8')
  elif chardet.detect(strs)['encoding'] == 'GB2312':
   strs = strs.decode("gb2312", 'ignore').encode('utf-8')
  elif chardet.detect(strs)['encoding'] == 'utf-8':
   strs = strs.decode('utf-8', 'ignore').encode('utf-8')
 except Exception, e:
  print 'utf8_transfer error', strs, e
 return strs
def get_title_xpath(Html):
 '''
 用xpath抽取网页Title
 '''
 Html = utf8_transfer(Html)
 Html_encoding = chardet.detect(Html)['encoding']
 page = etree.HTML(Html, parser=etree.HTMLParser(encoding=Html_encoding))
 title = page.xpath('/html/head/title/text()')
 try:
  title = title[0].strip()
 except IndexError:
  print 'Nothing'
 print title
def get_title(Html):
 '''
 用re抽取网页Title
 '''
 Html = utf8_transfer(Html)
 compile_rule = ur'<title>.*</title>'
 title_list = re.findall(compile_rule, Html)
 if title_list == []:
  title = ''
 else:
  title = title_list[0][7:-8]
 print title
if __name__ == '__main__':
	url = 'http://www.baidu.com'
	html = urllib.urlopen(url).read()
	new_html = utf8_transfer(html)
	try:
		get_title_xpath(new_html)
		get_title(new_html)
	except Exception, e:
		print e

执行上述代码后的输出结果如下：

百度一下，你就知道百度一下，你就知道

这是一个简单的实践案例，旨在进一步巩固学习成果，欢迎进行技术交流。

以上关于使用Python抽取指定URL页面title的方法全部内容已分享完毕，希望能为读者提供有价值的参考。感谢大家的支持，欢迎继续关注我们网站。