Python lxml库Xpath语法实战指南
本文详解Python中lxml库的Xpath使用技巧，涵盖基础语法、节点定位、文本提取（text与string函数）及多路径选择。通过具体代码示例，帮助开发者掌握高效解析XML/HTML文档的核心方法。
2026-10-16
11
本文详解Python中lxml库的Xpath使用技巧，涵盖基础语法、节点定位、文本提取（text与string函数）及多路径选择。通过具体代码示例，帮助开发者掌握高效解析XML/HTML文档的核心方法。
本文详细讲解如何利用Python爬取东方财富网的股票实时数据。通过F12开发者工具分析Ajax动态加载接口，识别关键参数如pn控制页码。针对非标准JSON返回格式进行清洗处理，提取f2至f22等字段含义，并编写Python脚本实现数据解析、存储及多页循环抓取，最终完成股票信息的本地保存。
本文详解如何在Python爬虫中通过百度智能云文字识别API解决图片验证码问题。内容涵盖从创建应用获取凭证、安装baidu-aip库，到使用Pillow库进行图像二值化预处理以提高识别率，最后调用handwriting接口完成自动登录的全过程。
本文详细介绍如何利用Python爬虫技术获取天气通讯社的高温预警数据。通过分析目标网站反爬机制，结合亿牛云代理IP配置示例，帮助开发者有效规避访问限制，提前获取高温、暴雨等气象预警信息，做好防暑防灾准备。
本文介绍在Python爬虫中获取非唯一指定内容的方法。当XPath无法直接定位目标时，可通过遍历节点并结合条件判断进行筛选。文章提供基于urllib和lxml的完整代码示例，展示如何构建请求、解析HTML并过滤关键词，同时指出原代码存在冗余问题，旨在为开发者提供清晰的筛选逻辑参考。
本文详解Scrapy实现模拟登录的两种核心方式：一是直接携带Cookie发起请求，适用于Cookie有效期较长的场景；二是通过发送Post请求获取Cookie，分别介绍scrapy.FormRequest手动构造表单与scrapy.FormRequest.from_response()自动填充表单的方法。结合GitHub登录示例代码，解析如何验证登录状态及处理动态表单字段，帮助开发者高效解决需要登录才能访问的页面爬取问题。
本文详解如何使用Python编写有道在线翻译小程序。针对有道反爬机制，重点讲解User-Agent伪装、Referer设置及data参数构造（含salt与sign生成）。提供完整Python代码，涵盖urllib、json、time及hashlib模块的应用，并分析运行结果，帮助开发者解决旧版教程失效问题。
本文介绍两种Python实现抖音无水印视频下载的方法。第一种利用去水印平台接口，通过Splinter无头浏览器模拟操作以绕过付费解析限制；第二种基于URL字符串替换技巧，直接修改播放地址中的特定参数获取无水印源。文章提供了相关代码逻辑与注意事项，旨在帮助开发者快速实现视频抓取功能。
本文详解如何识别并破解前端 webpack 打包的加密 JS 代码。通过分析典型模块执行逻辑，实战演示如何通过浏览器开发者工具定位关键函数（如 encode），构建局部运行环境，剥离核心加解密代码到本地 JavaScript 文件中独立执行，从而实现数据抓取中的算法复现。
本文介绍如何使用Python编写爬虫程序，通过调用第三方条形码查询网站接口来获取商品信息。文章详细讲解了日志模块的配置、利用ddddocr库识别数字验证码的方法，以及处理HTTP请求和JSON响应的完整代码逻辑。通过具体案例演示了从输入条形码到获取商品名称、厂商及价格的全过程，旨在帮助开发者练习网络爬虫技术并了解商品信息查询的实现原理。
本文详细解析起点中文网月票榜的字体反爬机制，通过Python结合requests、lxml和fonttools库，实现从HTML中提取加密字体文件，解析Unicode编码映射关系，最终还原书名与月票数。教程涵盖XPath定位、正则提取及字体文件动态加载，提供完整代码示例与常见错误排查。
本文详解如何在Python Scrapy框架中集成browsercookie库，通过读取本地Firefox浏览器的Cookie实现免登录爬取。重点讲解如何替换默认的CookiesMiddleware，处理Chrome 80版本后的加密差异，并演示如何构造POST请求完成自动化点赞操作，为需要登录态的爬虫提供实用方案。
