Python实现视频下载功能

近两年来，短视频业务蓬勃发展，各大视频平台纷纷推出独具特色的短视频内容。若能开发一款程序，自动下载各平台热门用户的最新视频，不仅便于个人观看，还能将无版权视频发布至个人社交网站以提升人气，这确实是一个颇具吸引力的想法。

parker项目（地址：https://github.com/LiuRoy/parker）正是为此而生。该项目采用celery框架定时爬取用户视频列表，并通过you-get异步下载最新发布的视频，从而轻松实现分布式部署。鉴于各网站页面布局和接口更新频繁，为确保程序的高可用性，项目特别增加了Statsd监控功能，以便及时发现并处理错误。

代码架构

目前parker仅支持B站和秒拍的下载功能。从框架图可以看出，针对每一类网站，需实现两个异步接口：一是从用户视频主页解析发布视频的播放地址，二是根据播放地址下载视频。因此，增加新的网站类型无需修改原有代码，只需添加相应的解析和下载接口即可。对于视频下载完成后的后续操作，目前尚未实现，用户可根据自身需求自由扩展。

运行过程中，celery会将配置好的优质用户列表定时发送至对应网站的解析接口异步执行，筛选出最新发布的视频播放地址，并交由对应的下载接口异步下载。下载完成后，再异步调用后续操作。因此，需要启动一个celery beat进程以发送定时任务，以及若干celery异步任务来执行解析和下载操作。对于较大的视频文件，下载过程可能耗时较长，建议根据任务列表的数量合理分配异步任务的个数。

程序运行

经测试，该程序可在ubuntu和mac环境下正常运行。由于本地windows下的celery无法正常启动，故未在windows环境中进行验证。

依赖库安装

python版本为3.5，进入项目目录后，执行：

pip install -r requirements.txt

创建数据库表

需提前在数据库中创建好两张表（sql: https://github.com/LiuRoy/parker/blob/master/spider/models/tables.sql）

参数配置

config路径下的logging.yaml、params.yaml、sites.yaml分别对应日志配置、运行参数配置、热门用户配置。

日志配置

debug模式下日志会直接输出在标准输出流，release模式下会将日志内容输出到文件中，因此需要配置输出日志文件。

运行配置

• mode debug调试模式，此模式下日志指向标准输出，并且没有监控数据；release模式下，日志输出到制定文件，并且有监控数据。
• broker_url 对应于celery的BROKER_URL，可以配置为redis或者rabbitmq
• mysql_url 数据库地址，需要提前建好两张表
• download_path 视频下载路径
• statsd_address 监控地址
• video_number_per_page 每次从用户视频主页解析出多少条视频播放地址，因为大部分用户每次发布的视频个数很少，只需要设置成一个很小的值即可。在初次运行的时候，也不会下载大量久远的视频。
• download_timeout 视频下载的超时时间

热门用户配置

parker会根据此配置生成一份celery beat scheduler列表。

• name 规则是<网站类型>-<任务id>，parker会根据此作为scheduler任务名称
• url 用户的发布视频主页
• task 对应的celery解析异步任务
• minute 多少分钟检查一次用户视频列表

启动任务

进入项目目录，执行下面命令启动celery worker

celery -A spider worker

执行下面命令启动celery beat定时任务

celery -A spider beat

监控

强烈安利一个docker镜像 https://hub.docker.com/r/samuelebistoletti/docker-statsd-influxdb-grafana/，一分钟配好监控环境有木有。之后只需要添加执行成功和执行异常的打点数据，就可以方便的监控程序是否正常运行了。

以上所述是小编给大家介绍的Python实现视频下载功能，希望对大家有所帮助，如果大家有任何疑问请给我留言，小编会及时回复大家的。在此也非常感谢大家对本站网站的支持！