Python 文本相似度对比:difflib 与 Levenshtein 实战解析

云舒
云舒
发布时间:2026-10-13| 5人浏览过
原创

本文介绍在 Python 中处理不定长序列匹配时,使用 difflib 和 Levenshtein 库进行文本相似性比较的方法。difflib 支持非字符串元素但要求完全匹配,而 Levenshtein 需输入字符串并进行整体匹配。通过实例对比两者的优缺点,帮助开发者根据实际需求选择合适的相似度计算工具。

近期工作中遇到了序列匹配与相似性检测的需求,难点在于输入数据的长度并不固定。例如:

input_and_output = [1, 2, '你好', 世界', 12.34, 45.6, -21, '中国', '美丽']

任务是从 input_and_output 中选取一段长度不固定且顺序可能打乱的子序列,将其与完整序列进行比对以找出最匹配的结果。起初尝试将汉字转换为数值编码,但随着汉字数量的增加,该方法不再适用,因此转向其他方案。查阅资料后发现有两个 Python 库被广泛推荐,它们各有优劣,在此记录如下:

1、difflib

import difflib #python 自带库,不需额外安装

In [49]: test1
Out[49]: ['你好', '我是谁']

In [50]: test2
Out[50]: ['你好啊', '我谁']

In [51]: test3
Out[51]: [12, 'nihao']

In [52]: test4
Out[52]: ['你好', 'woshi']

In [53]: difflib.SequenceMatcher(a=test1, b=test2).quick_ratio()
Out[53]: 0.0

In [54]: difflib.SequenceMatcher(a=test1, b=test4).ratio()
Out[54]: 0.5

2、Levenshtein

#pip install python-Levenshtein

import Levenshtein


In [56]: Levenshtein.distance(','.join(test1), ','.join(test2))
Out[56]: 2

In [57]: Levenshtein.distance(','.join(test1), ','.join(test4))
Out[57]: 5

简而言之,difflib 在使用时并不局限于字符串类型,但在匹配过程中,只有当单个元素完全一致时才会被计入相似度。

而 Levenshtein 则要求输入必须为字符串,其匹配机制是基于整体的(这可能与将所有元素合并为一个字符串有关,具体细节有待后续进一步实践验证)。

以上关于 Python 比较文本相似性的方法(difflib 和 Levenshtein)的全部内容已分享完毕,希望能为读者提供参考,也欢迎大家继续支持本站。

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。