Python爬虫实战：抓取Bilibili游戏排行榜标题与链接
本文介绍如何使用Python的Requests和BeautifulSoup库，从Bilibili游戏排行榜页面抓取视频标题及对应链接。通过逐步优化代码，解决HTML解析、链接协议补全（http:）及数据提取问题，最终实现简洁高效的数据爬取，适合Python初学者参考学习。
2026-10-12
6
本文介绍如何使用Python的Requests和BeautifulSoup库，从Bilibili游戏排行榜页面抓取视频标题及对应链接。通过逐步优化代码，解决HTML解析、链接协议补全（http:）及数据提取问题，最终实现简洁高效的数据爬取，适合Python初学者参考学习。
本文深入解析 Python 中 re 模块的核心功能，详细讲解 match、search 和 sub 函数的语法与区别，涵盖字符类、分组、锚点等特殊语法。通过具体代码示例展示如何在爬虫和数据分析中高效处理字符串，帮助开发者掌握正则表达式的实际应用技巧。
本文介绍使用Python 3.6.4通过DecryptLogin模块模拟登录微博，并抓取指定用户发布的表情包图片。文章详细讲解了环境搭建、异步爬取被封禁的教训、以及采用随机延迟和独立UA请求等反封禁策略。通过XPath提取用户信息及图片链接，并对HTTP链接错误进行后处理，最终实现稳定下载。
本文详细介绍如何利用Python的urllib.request库实现贝壳找房房源数据的自动化爬取。教程涵盖请求库引入、URL构建、随机代理IP配置及反爬策略（如随机休眠），并通过完整代码示例演示如何批量保存不同城市的多页网页数据，为后续大数据分析提供数据源。
本文详细讲解在Python中如何为数据添加标签、根据条件判断标签值以及从HTML结构中获取特定标签内容。通过Pandas的merge与apply方法实现复杂逻辑打标，并结合lxml库利用XPath表达式精准提取网页元素属性，适用于数据分析和网络爬虫场景。
本文介绍一种基于强制HTTP/2.0协议的反爬虫策略。由于主流Python爬虫库如requests仅支持HTTP/1.1，且Scrapy的HTTP/2支持尚为实验性，通过Nginx配置拒绝HTTP/1.x请求可有效拦截大部分自动化脚本。文章详细演示了Nginx及Kubernetes Ingress的配置方法，并通过对比requests、Scrapy与httpx的测试结果，验证了该方案对常规爬虫的阻断效果及合法用户的兼容性。
本文详细介绍使用Python爬取爱奇艺电影片库首页数据的完整流程。通过Requests获取HTML，结合Lxml和BeautifulSoup解析电影标题、评分及链接等关键信息。代码示例展示了如何连接MySQL数据库，将抓取到的电影数据批量插入数据库，并包含异常处理与事务提交机制，为影视数据抓取与存储提供实用参考。
本文详解如何使用Python正则表达式进行网页数据抓取。通过解析上海三甲医院网站源码，演示了利用re模块进行一级和二级过滤以提取医院名称的方法，并展示了如何编写正则表达式从HTML中提取图片URL。包含完整的Python代码示例、正则匹配逻辑分析及运行结果展示，帮助读者掌握文本与图片的批量爬取技巧。
本文详细解析如何利用 Python 爬取动态网页中的图片，以知名插画网站 Pixiv 为例。文章涵盖请求头构造、JSON 数据解析、图片 ID 提取及真实地址获取等核心步骤，并提供完整的代码实现。通过手动输入 Cookie 的方式绕过登录限制，实现批量下载指定画师的所有插画作品。
本文介绍如何使用Python批量获取基金数据。通过请求特定URL获取基金编号，解析JavaScript文件提取基金代码，并进一步获取单位净值和累计净值。代码实现了初步的数据汇总，输出CSV文件保存基金的单位与累计净值，为后续结合统计方法筛选优质基金提供基础数据支持。
本文介绍如何使用Python爬取微博热搜数据并保存为文本文件。通过requests获取页面，利用BeautifulSoup解析HTML结构，提取热搜排名、标题及指数。此外，结合pandas和pyecharts库，对定时爬取的热搜数据进行可视化分析，生成动态时间轮播图，展示热搜趋势。
本文详解Python中利用PyExecJS库执行JavaScript代码的方法。涵盖Windows与Ubuntu环境下的JS运行时配置（Node.js、JScript等），通过代码示例展示如何编译与调用JS函数，并对比不同环境下的执行性能，指出PyExecJS在复杂场景下的局限性及优化建议。
