Python实现网页抓取与jieba分词处理

本文介绍如何使用Python的requests和BeautifulSoup库抓取指定网页的正文内容,并利用jieba库对提取的文本进行分词处理。通过具体代码示例,展示了从获取HTML、解析DOM、提取文本到写入文件及分词输出的完整流程,适用于简单的网页内容分析与预处理场景。

Python实现网页抓取与jieba分词处理

Python jieba结巴分词原理及用法解析

本文深入解析Python jieba库的三种分词模式(全模式、精简模式、搜索引擎模式),详解如何添加自定义词典以控制词语切分,并探讨基于隐马尔可夫模型(HMM)和Viterbi算法处理未登录词的底层原理。通过代码示例展示jieba在实际应用中的灵活配置与参数调整方法。

Python jieba结巴分词原理及用法解析

基于jieba分词与同义词词典的Python文本替换实现

本文介绍如何利用Python的jieba库结合自定义同义词词典实现文本中的词汇替换。通过读取指定格式的TXT文件构建映射字典,调整特定词汇的词频以确保正确分词,随后对输入字符串进行切分并执行替换逻辑。该方法适用于需要标准化术语或进行文本预处理的自然语言处理场景。

基于jieba分词与同义词词典的Python文本替换实现