Selenium结合BeautifulSoup解析Script内JSON数据
发布时间：2026-10-14| 5人浏览过
本文介绍当Selenium的.text方法无法直接获取Script标签内的JSON数据时，如何结合BeautifulSoup提取源码，并通过json模块将字符串转换为字典对象，从而精准获取嵌套数据。
Selenium提取Script内JSON数据的挑战
在使用Selenium进行网页爬取时，有时会遇到数据以JSON字符串形式封装在Script标签内部的情况。
典型Script标签结构示例
假设页面中Script标签的结构如下所示：
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短，我用python"
}
}
}
</script>
Selenium.text方法的局限性
此时，使用drive.find_elements_by_xpath('//*[@id="DATA_INFO"]']仅能定位到该元素节点，但直接调用.text方法无法成功获取Script标签内的JSON数据。
结合BeautifulSoup与json的解决方案
from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据，并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes总结
以上就是利用Selenium配合BeautifulSoup及json模块提取Script标签内JSON数据的方法，更多关于Selenium与BeautifulSoup获取JSON内容的技巧，可参考本站往期文章或继续浏览后续内容，感谢支持！
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
