Python 使用 Selenium 和 Requests 爬取西瓜视频完整教程

Ruby

发布时间：2026-10-15| 4人浏览过

原创

本文详细介绍如何利用 Python 的 Selenium 和 Requests 库爬取西瓜视频。通过构建 embedUrl 获取 group_id，使用无头浏览器模拟访问提取视频真实地址，最后拼接 http 协议并下载二进制数据保存为 mp4 文件。

一、写在前面

关于内容创作，为何某些游戏类视频能获得高浏览量，而本人发布两次累计仅获百次观看，这确实值得反思。

暂且放下游戏题材，毕竟受众兴趣点可能并不在此。

本次尝试抓取头条平台近期热门的舞蹈类视频内容，具体效果如何，让我们拭目以待。

二、准备工作

1、使用的环境

Python 3.8
PyCharm 2021.2 专业版

2、要用的第三方模块

Selenium
Requests
ParSel

三、大致流程

考虑到读者偏好简洁，但为了逻辑清晰，此处单独列出整体操作流程。

1、网站分析(明确需求)

首先需要在视频网页的源代码中定位到 embedUrl 对应的链接地址。

接着在该链接中获取视频的实际播放地址，这一步可以通过浏览器开发者工具的元素面板查看。

经过分析发现规律：embedUrl 上方的 groupby_id 实际上等同于当前视频链接中的 id。因此，下载视频时只需获取一个 id 即可（例如：https://www.ixigua.com/embed?group_id=7029910152576926238）。

2、代码实现过程

第一步，构建 embedUrl，格式如 https://www.ixigua.com/embed?group_id=7029910152576926238。
第二步，使用 Selenium 访问该链接。
第三步，提取视频链接地址。
第四步，拼接完整的视频链接地址。
第五步，使用 Requests 发送 HTTP 请求并获取视频的二进制数据。
第六步，将获取的数据保存为视频文件。

若在学习 Python 过程中遇到方向迷茫、缺乏系统资料或无人交流解答等问题，可寻求相关指导与资源支持。

四、代码展示分析

首先导入所需的模块。


import requests
from selenium import webdriver

接下来进行浏览器环境的配置设置。


options = webdriver.ChromeOptions()

1、构建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238


group_id = input("请输入你要下载视频的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id

配置无头浏览器模式。


options.add_argument("--headless")

添加 User-Agent 以进行伪装。


options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')

2、使用selenium访问该链接 driver: 浏览器


driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)

打开网页驱动配置，此处 driver 作为代码操作浏览器的中间人。


driver.get(url)

设置隐式等待：最多等待五秒，若一秒钟内加载完成则继续执行后续操作。


driver.implicitly_wait(5)

3、提取视频链接地址


info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")

4、拼接视频链接地址


video_url = 'http:' + video_url

5、使用requests发送请求并且获取视频二进制数据


video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)

所有代码汇总如下。


import requests
from selenium import webdriver

# 进入浏览器设置
options = webdriver.ChromeOptions()
# 1. 构建embedUrl https://www.ixigua.com/embed?group_id=7029910152576926238
group_id = input("请输入你要下载视频的id:")
url = 'https://www.ixigua.com/embed?group_id=' + group_id
# 无头浏览器
options.add_argument("--headless")
# 加一个伪装
options.add_argument('User-Agent="Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/96.0.4664.45 Safari/537.36"')
# 2. 使用selenium访问该链接
# driver: 浏览器
driver = webdriver.Chrome(executable_path="chromedriver.exe", options=options)
# 打开一个网页
# 驱动配置: 代码操作浏览器的一个中间人
driver.get(url)
# 隐式等待: 最多等待五秒 如果一秒钟加载完了 继续执行
driver.implicitly_wait(5)
# 3. 提取视频链接地址
info = driver.find_elements_by_xpath('//*[@id="player_default"]/xg-controls/xg-definition/ul/li[1]')
video_url = info[0].get_attribute("url")
# 4. 拼接视频链接地址
video_url = 'http:' + video_url
# 5. 使用requests发送请求 并且获取视频二进制数据
video_data = requests.get(video_url).content
with open('1.mp4', mode='wb') as f:
    f.write(video_data)
print("爬取成功!!!")
#留了报错，看看大家够不够机智找出来

如果本文内容对您有帮助，请记得点赞并三连支持。