Python爬虫实战：解析B站视频系列总时长
本文介绍利用Python脚本自动获取Bilibili系列视频总时长的方法。通过抓取网页源码中的timelength字段，结合正则表达式解析分集数量，实现批量视频时长的快速统计。文章包含详细操作步骤及完整GitHub源码链接，适合Python初学者参考学习。
2026-10-13
6
本文介绍利用Python脚本自动获取Bilibili系列视频总时长的方法。通过抓取网页源码中的timelength字段，结合正则表达式解析分集数量，实现批量视频时长的快速统计。文章包含详细操作步骤及完整GitHub源码链接，适合Python初学者参考学习。
本文介绍一种基于Python的自动化脚本，用于监控教务系统成绩更新。通过模拟登录获取加密数据，定时爬取成绩页面并将结果转化为列表进行比对。一旦发现新成绩，脚本立即通过邮件发送通知。该方案解决了教务系统无主动推送功能的痛点，支持将脚本部署在Ubuntu服务器上长期运行，确保用户及时获知成绩发布情况。
本文介绍使用Python requests库与正则表达式爬取古诗文数据并存入MySQL数据库的过程。重点解决执行SQL插入语句时出现的'Unknown column'报错，指出原因为SQL语句中值未加引号导致列名解析错误，修正为在format格式化字符串中为值添加单引号即可解决。
本文详解Selenium中get_cookies()与add_cookie()函数的使用方法。通过获取当前浏览器Cookie并保存为JSON文件，后续爬虫任务可直接读取该文件并利用add_cookie()注入Cookie，从而绕过登录验证。该方法特别适用于验证码识别困难或需要高频定时爬取且不想频繁登录的场景，有效提升爬虫稳定性和效率。
本文详细解析Python中解析HTML网页的四种主流方式：正则表达式、requests-html、BeautifulSoup及lxml XPath。通过豆瓣小组页面抓取实例，对比各库在代码复杂度、执行效率及适用场景上的差异，帮助开发者根据实际需求选择最高效的数据提取工具。
本文介绍利用Python实现一键抠除图片背景的方法。通过对比requests模块直接调用API与使用removebg库两种方式，展示代码实现细节。针对removebg库添加纯色背景参数报错的问题，提供使用PIL库手动填充背景色的解决方案，并附带完整代码示例与效果说明。
本文详细介绍在Python爬虫开发中如何添加请求头，分别通过requests、urllib以及PhantomJS三种方式给出具体代码示例。内容涵盖常见Header字段的配置方法，如User-Agent、Referer等，帮助开发者绕过基础反爬机制。
本文解析Python爬虫中通过设置User-Agent模拟浏览器访问的方法。通过urllib2构造请求对象并添加Headers，实现伪装浏览器身份进行数据抓取，同时展示获取响应状态码、URL及头部信息的技巧，帮助开发者规避基础反爬限制。
本文详细解析Python中使用gevent库实现协程并发的两种模式。通过对比直接spawn任务与结合Queue队列管理的两种方式，展示如何利用monkey.patch_all()实现非阻塞I/O。代码涵盖从导入模块、定义URL列表到执行并发请求及耗时统计的完整流程，适用于提升网络请求效率的开发者参考。
本文详细介绍Python中CSV模块的标准使用流程，涵盖文件打开模式（a, r, w及其变体）及写入对象初始化的具体方法。通过猫眼电影Top10榜单的完整爬取案例，演示如何结合requests库、正则表达式与CSV模块，实现从URL规律分析、数据抓取到本地文件保存的全流程操作，帮助开发者掌握结构化数据存储技巧。
本文详细介绍Python中两种主流数据持久化存储方案：MongoDB与MySQL。通过具体代码示例，讲解如何创建连接对象、建立数据库与集合/表，并执行数据插入操作。同时涵盖使用mysql-Front可视化工具进行建库、建表及字段配置的完整流程，为Python开发者提供实用的数据存储实现参考。
本文深入解析Python3 WebSpider爬虫代理池的源代码测试过程。重点介绍如何利用元类（Metaclass）自动注册抓取函数，通过约定前缀动态生成属性列表，实现抓取逻辑的解耦与扩展。文章包含详细的代码示例及控制台输出日志，展示代理获取器的执行流程与测试结果，为构建可扩展的爬虫系统提供参考。