Python超简单分析评论提取关键词制作精美词云流程

不晚
不晚
发布时间:2026-10-16| 5人浏览过
原创

本文介绍如何使用Python抓取网站评论数据,利用结巴分词和WordCloud库提取关键词并生成词云。通过Chrome开发者工具定位接口,获取评论JSON数据,经过去重和分词处理后,结合心形背景图生成高清词云,展示设备分布与高频词汇。

一、抓取全部评论

这篇文章共有 1022 条评论,逐一阅读耗时耗力,因此考虑使用Python生成词云,从中提取关键词,这也是一件有趣的事情。

评论设备分布情况:{'android': 545 次, 'ios': 110 次, 'pc': 44 次, 'uniapp': 1 次}

一个细节:在评论设备中,安卓与苹果的比例约为 5:1。

Building prefix dict from the default dictionary ... Loading model cost 0.361 seconds. Prefix dict has been built successfully.

1、找到评论接口

  • 打开 chrome 浏览器,启用开发者模式
  • 点击评论列表(图标 1)
  • 点击接口链接(图标 2)
  • 查看 response 返回值(评论结果的 json 格式)

2、Python 获取评论


def get_comments(articleId):
    # 确定评论的页数
    main_res = get_commentId(articleId,1)
    pageCount = json.loads(main_res)['data']['pageCount']
 
    comment_list,comment_list2 = [],[]
    source_analy = {}
    for p in range(1,pageCount+1):
        res = get_commentId(articleId, p)
        try:
            commentIds = json.loads(res)['data']['list']
            for i in commentIds:
                commentId = i['info']['commentId']
                userName = i['info']['userName']
                nickName = i['info']['nickName']  ## 获取用户名
                source_dvs = i['info']['commentFromTypeResult']['key']   # 操作设备
                content = i['info']['content']
                comment_list.append([commentId, userName, nickName, source_dvs, content])
                comment_list2.append("%s 丨 %s"%(userName, nickName))
                if source_dvs not in source_analy.keys():
                    source_analy[source_dvs] = 1
                else:
                    source_analy[source_dvs] = source_analy[source_dvs] + 1
                # print(source_analy)
        except:
            print('本页失败!')
    print('评论数:' + str(len(comment_list)))
    return source_analy, comment_list, comment_list2

二、文本分词、词云制作

1、文本分析

西红柿采用的是 结巴 分词, 和 wordcloud。


# -*- coding:utf8 -*-
import jieba
import wordcloud

代码实现:


seg_list = jieba.cut(comments, cut_all=False)  # 精确模式
    word = ' '.join(seg_list)

2、生成词云

背景图 西红柿采用的是 心形图片


pic = mpimg.imread('/Users/pray/Downloads/aixin.jpeg')

完整代码::


def word_cloud(articleId):
    source_analy, comment_list, comment_list2 = get_comments(articleId)
    print("评论情况:", source_analy)
    comments = ''
    for one in comment_list:
        comment = one[4]
        if 'face' not in comment:
            comments = comments + comment
    seg_list = jieba.cut(comments, cut_all=False)  # 精确模式
    word = ' '.join(seg_list)
 
    pic = mpimg.imread('/Users/pray/Downloads/aixin.jpeg')
    wc = wordcloud.WordCloud(mask=pic, font_path='/Library/Fonts/Songti.ttc', width=1000, height=500,
                             background_color='white').generate(word)

3、初步效果-模糊不清

西红柿发现文字模糊、图像曲线边缘不清晰的问题。

于是,指定分辨率,高清整起来。


# 保存
plt.savefig('xin300.png', dpi=300) #指定分辨率保存

4、最终效果-高清无马

到此这篇关于Python超简单分析评论提取关键词制作精美词云流程的文章就介绍到这了,更多相关Python 制作词云内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站!

相关标签:

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。