爬虫实战:把网页内容整理成数据

网页上能看到的内容,怎样整理成可用的数据?从请求页面、定位字段到翻页采集,逐步理解爬虫的工作流程,并掌握动态页面处理、失败重试与数据去重方法。

阅读10
发布人iPython
发布时间2026-10-16
爬虫实战:把网页内容整理成数据

Python+Selenium实现浏览器的控制操作

本文详解Python Selenium对浏览器的核心控制操作。涵盖通过ChromeOptions设置无头模式等参数、调整窗口大小与获取页面信息、使用forward/back实现前进后退、利用execute_script执行JS控制滚动条,以及通过window_handles和switch_to.handle进行多窗口切换的完整代码示例与注意事项。

Python操作XML文件的使用指南

本文详细介绍Python中操作XML文件的两种主要方式:xml.etree.ElementTree和xml.dom.minidom。通过具体代码示例,演示如何解析XML文件、提取元素与属性、修改节点内容以及增删节点,帮助开发者掌握Python处理XML数据的核心技能。

Python操作XML文件的使用指南

Python数据分析中shape()函数的核心用法与维度解析

本文详解Python中numpy.core.fromnumeric模块下的shape()函数,用于读取矩阵长度与维度信息。通过解析输入参数为一维或二维矩阵时的返回值,以及利用shape[0]和shape[1]分别获取行数和列数的具体操作,帮助开发者掌握数组维度的判断方法。同时解释了Debug场景中shape(?,2,3)里问号代表的批处理个数含义,为数据分析提供基础支持。

Python数据分析中shape()函数的核心用法与维度解析

利用Python对月饼数据进行可视化分析

本文介绍如何使用Python对月饼电商数据进行清洗与可视化分析。通过Pandas处理价格、销量及店铺信息,利用Pyecharts生成销量Top10店铺与商品柱状图、不同价格区间销量占比饼图以及各省销量分布地图,帮助直观了解市场趋势与热门产品。

利用Python对月饼数据进行可视化分析

Python正则表达式匹配反斜杠\\的转义陷阱与解决方案

本文详解Python中使用正则表达式re.sub匹配或替换反斜杠\\时的转义问题。由于正则语法与Python字符串解析器的双重转义机制,直接写入单个反斜杠会导致语法错误。文章通过对比分析,解释了为何需要四个反斜杠(\\\\)或使用原始字符串(r'\\')来正确匹配单个反斜杠,并提供了str.replace()作为替代方案。

Python正则表达式匹配反斜杠\\的转义陷阱与解决方案

C++实现地铁站名汉字频率统计

本文介绍如何利用C++语言处理文本数据,统计地铁站点名称中各汉字的出现频率。通过读取包含站名的文件,首先对数据进行去重处理,随后逐字遍历并记录字符次数,最后根据频次进行降序排序输出。该方法展示了基础的文件I/O、字符串操作及数组管理技巧。

C++实现地铁站名汉字频率统计

Python pandas读取JSON文件生成数据框完整指南

本文详细介绍如何使用Python pandas库中的read_json函数将JSON文件或字符串转换为数据框。文章通过具体示例演示了records、index、columns、values及split五种orient格式的参数配置与输出结果,并补充了compression压缩加载与encoding编码设置方法,帮助开发者高效处理结构化JSON数据。

Python爬虫requests库使用教程:安装、GET/POST请求与响应处理

本文详细介绍Python爬虫中requests库的安装方法及GET与POST请求的具体使用。涵盖通过pip或源码安装requests,演示如何构造带参数的GET请求、获取JSON数据、处理二进制文件下载,以及利用data和files参数进行POST请求和文件上传。同时解析响应状态码、异常抛出及JSON转换技巧,帮助开发者高效完成HTTP交互。

Python爬虫requests库使用教程:安装、GET/POST请求与响应处理

Python实现图片搜索引擎并本地保存详解

本文详细介绍如何使用Python编写一个简单的图片搜索引擎。通过发送HTTP请求获取网页源码,利用正则表达式筛选图片链接,并模拟浏览器头信息防止被封禁。最终将筛选出的图片二进制数据保存至本地指定文件夹,实现自动化的图片抓取与存储功能。

Python实现图片搜索引擎并本地保存详解