Python多线程线程池爬取视频文件实战

江岸

发布时间：2026-10-13| 6人浏览过

原创

本文介绍如何利用Python的multiprocessing.dummy模块创建线程池，实现多线程并发爬取和存储视频文件。通过解析网页获取视频链接，并使用map函数批量处理下载任务，显著提升抓取效率。

线程池创建与视频爬取概述

本示例主要演示如何创建线程池，并通过多线程方式获取和存储视频文件。

以梨视频为例，展示利用线程池进行视频数据爬取的具体过程。

Python多线程视频下载代码实现


#爬取梨视频数据
import requests
import re
from lxml import etree
from multiprocessing.dummy import Pool
import random

# 定义获取视频数据方法
def getVideoData(url): # url为列表中的视频url
  return requests.get(url=url,headers=headers).content

# 定义存储数据方法
def saveVideo(data):
  fileName = str(random.randint(0,5000))+'.mp4'
  with open(fileName,'wb') as fp:
    fp.write(data)

# 爬取数据
#实例化一个线程池对象，开启5个线程池
pool = Pool(5)

url = 'https://www.pearvideo.com/category_1'
headers = {
  'User-Agent':'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/72.0.3626.119 Safari/537.36'
}
page_text = requests.get(url=url,headers=headers).text
tree = etree.HTML(page_text)
li_list = tree.xpath('//div[@id="listvideoList"]/ul/li')

video_url_list = [] # 存的是将要下载视频的url
for li in li_list:
  detail_url = 'https://www.pearvideo.com/'+li.xpath('./div/a/@href')[0]
  detail_page = requests.get(url=detail_url,headers=headers).text
  #因为视频连接不在标签汇中，而是一个js语句，所以用正则匹配
  video_url = re.findall('srcUrl="(.*?)",vdoUrl',detail_page,re.S)[0]
  video_url_list.append(video_url)
  
# map函数的应用：参数1：回调函数，参数2：列表；
#将列表中的参数赋值给回调函数的形参，让回调函数处理
video_data_list = pool.map(getVideoData,video_url_list)

pool.map(saveVideo,video_data_list)