Python实现统计高频词函数:count_words()详解与排序技巧
本文介绍如何使用Python实现统计字符串中出现频率最高的n个单词的函数count_words()。核心逻辑包括利用split()分割字符串,通过字典统计词频,并利用sorted()函数结合lambda表达式实现按频次降序、按字母升序的复杂排序。文章包含完整代码示例及测试用例,适用于机器学习入门练习。
问题描述
(内容源自Udacity机器学习工程师纳米学位的预览课程)
任务要求使用Python编写一个名为count_words()的函数。该函数接收两个参数:字符串s和整数n。函数的目标是返回字符串s中出现频率最高的前n个单词。返回值格式为包含元组的列表,每个元组由单词及其出现次数组成,结构为[(<单词1>, <次数1>), (<单词2>, <次数2>), ...]。列表需按照单词出现次数从高到低进行排序。
在实现过程中,可假设所有输入均为小写形式,且字符串中不包含标点符号或其他特殊字符,仅由字母和单个空格组成。若多个单词的出现次数相同,则需按照字母顺序(升序)进行排列。
例如:
print count_words("betty bought a bit of butter but the butter was bitter",3)
输出结果示例
[('butter', 2), ('a', 1), ('betty', 1)]
解决方案
"""Count words."""
def count_words(s, n):
"""Return the n most frequently occuring words in s."""
w = {}
sp = s.split()
# TODO: Count the number of occurences of each word in s
for i in sp:
if i not in w:
w[i] = 1
else:
w[i] += 1
# TODO: Sort the occurences in descending order (alphabetically in case of ties)
top = sorted(w.items(), key=lambda item:(-item[1], item[0]))
top_n = top[:n]
# TODO: Return the top n most frequent words.
return top_n
def test_run():
"""Test count_words() with some inputs."""
print count_words("cat bat mat cat bat cat", 3)
print count_words("betty bought a bit of butter but the butter was bitter", 3)
if __name__ == '__main__':
test_run()
小结
本解法主要涉及两个关键技巧:
首先,使用split()方法将输入字符串按空格分割成单词列表;
其次,利用sorted()函数对字典项进行排序。排序规则为先按值(出现次数)降序,再按键(单词)升序。具体实现中,key=lambda item:(-item[1], item[0])表示对元组的第二个元素(频次)取负号以实现降序排列,对第一个元素(单词)保持升序排列。对于包含多个元素的元组,sorted()会依次比较各元素以确定顺序。
以上关于使用Python统计高频词数的方法即为全部内容,希望能为读者提供参考。欢迎收藏并支持本站获取更多技术资讯。
免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。









