Python入门后如何进阶：文件处理与词频统计实战

Python入门之后再看点什么好?

掌握Python基础语法后，通过大量练习和实战项目来巩固技能是最佳进阶路径。一个经典的入门后实战题目是：统计文件中每个单词出现的次数，并列出出现频率最高的前5个单词。这个任务涵盖了文件操作、字符串处理、数据结构应用和排序算法等多个核心知识点。

文件读写的基础与进阶

在Python中，读写文件通常使用内置函数 open()。在Python 3中，open() 函数允许指定读写文件的编码格式，例如 encoding="utf-8"，这能有效避免中文乱码问题。为了兼容Python 2和3，可以使用 io 模块下的 open 函数。

处理文件时，必须注意文件描述符的关闭。可以使用 try...except...finally 语法确保在发生异常时也能关闭文件，但更推荐的做法是使用 with...as 语法。该语法会自动管理资源，在代码块执行完毕后自动关闭文件，使代码更简洁且安全。

数据处理与排序技巧

获取文件内容后，需要对文本进行处理。Python中的 re 模块提供了正则表达式相关函数，可用于处理文本和字符串。例如，使用 re.findall("\w+", data) 可以提取所有单词。

接下来需要对统计结果进行排序。Python的 sorted() 函数功能强大，支持对数字、字母、列表和字典进行排序。其 key 参数可以接受一个函数，用于指定排序的依据。匿名函数（即 lambda 函数）常与 sorted() 配合使用，实现自定义排序逻辑。此外，列表对象自带的 sort() 方法也可用于原地排序。

字典与Counter类的应用

在词频统计中，字典（dict）是理想的数据结构。单词作为字典的key，出现次数作为value。字典查询速度理想情况下时间复杂度为O(1)，适合快速统计。

Python的 collections 模块提供了 Counter 类，它继承自 dict 类，专门用于统计。此外，collections 模块还提供了有序的字典对象 OrderedDict，可免去手动排序的操作。使用 Counter 可以简化词频统计的代码逻辑。

实战代码示例

以下代码展示了如何统计文件中每个单词出现的次数，并列出出现频率最多的5个单词。代码使用了 io 模块、re 模块和字典操作。

# -*- coding:utf-8 -*-
import io
import re

class Counter:
    def __init__(self, path):
        """
        :param path: 文件路径
        """
        self.mapping = dict()
        with io.open(path, encoding="utf-8") as f:
            data = f.read()
            words = [s.lower() for s in re.findall("\w+", data)]
            for word in words:
                self.mapping[word] = self.mapping.get(word, 0) + 1

    def most_common(self, n):
        assert n > 0, "n should be large than 0"
        return sorted(self.mapping.items(), key=lambda item: item[1], reverse=True)[:n]

if __name__ == '__main__':
    most_common_5 = Counter("importthis.txt").most_common(5)
    for item in most_common_5:
        print(item)
#注：这里的文件是以Python之禅的19条格言保存到文本中进行统计的。

运行上述代码，假设文件 importthis.txt 包含Python之禅的内容，输出结果可能如下：

('is', 10)
('better', 8)
('than', 8)
('the', 6)
('to', 5)

通过这个项目，你可以深入理解Python的文件处理、字符串操作、数据结构以及排序算法。建议读者尝试修改代码，例如统计其他类型的文本，或使用 collections.Counter 简化实现，以进一步巩固所学知识。

以上就是Python入门之后再看点什么好的详细内容，更多关于Python文件处理与词频统计的资料请关注本站其它相关文章！