Python+Selenium爬取微博热搜并存储至MySQL的完整实现
本文详细介绍如何利用Python结合Selenium库自动化抓取微博热搜数据，并通过Pandas处理数据后存入MySQL数据库。文章涵盖环境配置、网页元素定位、数据清洗合并及数据库连接写入等关键步骤，提供完整代码示例，帮助开发者快速实现热搜数据的自动化采集与持久化存储。
2026-10-14
7
本文详细介绍如何利用Python结合Selenium库自动化抓取微博热搜数据，并通过Pandas处理数据后存入MySQL数据库。文章涵盖环境配置、网页元素定位、数据清洗合并及数据库连接写入等关键步骤，提供完整代码示例，帮助开发者快速实现热搜数据的自动化采集与持久化存储。
本文介绍如何在Python中使用psycopg2库高效操作PostgreSQL数据库。内容涵盖建立连接、创建表、批量插入、使用fetchall和fetchmany进行数据查询、更新及删除记录，并演示了时间格式字段的处理。相比ORM，直接执行SQL在大数据量场景下性能更优。
本文详细介绍如何在 Python 中通过 PyMySQL 库连接 MySQL 数据库。内容涵盖环境安装、基础连接配置，以及利用 cursor 对象执行 SELECT、INSERT、UPDATE 和 DELETE 等 SQL 语句的具体代码示例，并强调事务提交 commit() 的重要性，帮助开发者快速掌握数据库交互核心流程。
本文介绍如何利用Python的sshtunnel模块建立SSH隧道，从而安全连接内网MySQL数据库。通过配置sshtunnel和pymysql，实现通过SSH服务器中转访问远程数据库，支持连接池与自动重连机制，适用于需要安全访问内网数据库的场景。
本文介绍使用Python脚本批量删除MySQL中千万级数据的方法。针对线上数据库直接删除可能导致锁表或卡顿的问题，脚本采用分批策略：按天遍历数据，每天分50000条小批次执行DELETE操作，直至该天数据清空。该方法有效降低对线上业务的影响，适用于保留近期数据、清理历史统计表的场景。
本文介绍如何利用 Python 的 Jinja2 模板引擎动态生成 MySQL 配置文件 my.cnf。通过定义模板变量并传入具体参数，如数据目录、端口和用户等，程序可自动渲染出符合规范的配置文件内容，简化了自动化部署流程。
本文详解如何在Python主流Web框架Django和Flask中实现MySQL数据库的读写分离。通过配置Django的DATABASES及路由类，以及重写Flask-SQLAlchemy的Session和SQLAlchemy类，有效分担数据库压力，解决高并发场景下的性能瓶颈问题。
本文介绍如何使用Python的Tkinter库构建可视化界面，结合PyMySQL库对MySQL数据库进行暴力破解测试。通过输入主机、端口、用户名等参数，利用字典文件逐行读取密码进行连接尝试，成功则返回密码，失败则继续。
本文介绍如何使用Python将MySQL数据库中的数据导出为Excel文件。内容涵盖环境配置、基础字段映射写法，以及通过DictCursor动态获取表结构的高级实现。针对长字段导致的显示问题，提供了基于xlwt的自适应列宽计算方法，确保导出的Excel表格美观且信息完整。
本文详解如何使用Python的pymysql模块连接MySQL数据库，包括建立连接、获取游标、创建数据表以及执行SQL语句。重点演示了按行插入与一次性批量插入两种数据写入方式，并介绍了查询结果的处理及数据库连接的断开方法，帮助开发者高效完成数据库交互任务。
本文提供基于Python的pymysql库操作MySQL数据库的完整脚本示例。内容涵盖数据库连接配置、数据查询（含fetchmany用法）、数据插入、更新及删除操作的具体代码实现，并展示了如何将查询结果写入Excel文件。适用于需要快速掌握Python与MySQL交互开发的开发者参考。
本文详细介绍如何使用 Python 内置的 sqlite3 模块进行轻量级数据库开发。内容涵盖数据库创建、数据插入、查询、更新与删除等基础 CRUD 操作。此外，还深入讲解了基于 SQLite 的用户登录验证逻辑，包括错误密码锁定机制，以及如何结合 matplotlib 库提取时间序列数据并绘制曲线图，适合小型应用开发参考。