Python 下载文件的几种方法汇总

白榆

发布时间：2026-10-14| 5人浏览过

原创

本文汇总了 Python 中下载文件的多种实现方式，涵盖 requests、wget 及 urllib 等常用库。重点解析了处理重定向、大文件分块下载、多线程并行加速以及添加进度条等实用技巧，并提供了通过代理服务器下载国外资源的配置方案，帮助开发者高效完成文件获取任务。

前言

在开发过程中，通过脚本自动下载资源是常见需求，涉及常规文件、Web 页面、Amazon S3 存储对象及其他网络资源。Python 生态提供了丰富的模块来协助从 Web 获取文件，下文将逐一介绍几种主流实现方案。

一、使用 requests

requests 模块模拟标准的网页请求行为，能够从指定的 URL 地址下载文件内容。

示例代码：


import requests

url = 'xxxxxxxx' # 目标下载链接
r = requests.get(url) # 发送请求
# 保存
with open ('r.txt', 'rb') as f:
 f.write(r.content)
 f.close

爬虫请求库——requests的使用

二、使用 wget

安装 wget 库


pip install wget

示例代码


import wget

url = 'https://pic.cnblogs.com/avatar/1197773/20170712160655.png' # 目标路由，下载的资源是图片
path = 'D:/x.png' # 保存的路径
wget.download(url, path) # 下载

三、下载重定向资源

部分 URL 会触发服务器重定向至另一个实际下载地址，许多软件站的下载链接即采用此机制。URL 表现形式通常如下所示。


https://readthedocs.org/projects/python-guide/downloads/pdf/latest

利用 requests 库下载此类重定向资源十分简便，只需在请求参数中显式允许重定向即可。


import requests

url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'

# allow_redirect参数True表示允许重定向
r = requests.get(url, allow_redirect=True)
with open('r.txt', 'wb') as f:
 f.write(r)
 f.close()

四、大文件分块下载

对于体积巨大的文件，一次性全量下载易受网络波动或超时影响导致失败。此时，采用分块下载策略可有效提升稳定性。

requests 库支持分块下载模式，配置 stream 参数为 True 即可启用。


import requests

url = 'https://readthedocs.org/projects/python-guide/downloads/pdf/latest'

# stream参数True表示分块下载
r = requests.get(url, stream=True)
with open('r.txt', 'wb') as f:
 for ch in r:
 f.write(r)
 f.close()

五、并行下载

借助多线程或多进程并发机制进行下载，可显著提升整体下载速度。


import requests
from multiprocessing.poll import Pool

# 定义下载函数
def url_response(url):
 path, url = url
 r = requests.get(url, stream=True)
 with open(path, 'wb') as f:
 for ch in r:
  f.write(ch)
 f.close()

urls = ['aaa', 'bbb', 'ccc'] # 假设有好多个下载链接

# 排队下载的方式
for x in urls:
 url_response(x)

# 并行下载的方式
ThreadPool(3).imap_unordered(url_response, urls)

六、下载中加入进度条

引入进度条能更直观地展示下载状态，本例采用 clint 模块来实现该功能。


pip install clint

下载


import requests
from clint.textui import progess

url = 'xxxxxxxxxxx'
r = requests.get(url, stream=True)
with open('x.txt', 'wb') as f
 total_length = int(r.headers.get('content-length'))
 for ch in progress.bar(r.iter_content(chunk_size=2391975, expected)size=(total_length/1024)+1)):
 if ch:
  f.write(ch)
 f.close()

其他使用进度条的案例：Python 实现进度条的六种方式

七、使用 urllib 模块下载

urllib 库属于 Python 标准库范畴，无需额外安装即可直接使用。

下载代码


urllib.request.urlretrieve(URL, PATH)

八、通过代理下载

受网络环境影响，访问境外资源时速度可能较慢，此时可通过配置代理服务器来优化连接。

requests 模块使用代理


import requests

# 定义代理，假设本机上有个梯子的服务，代理端口是2258
proxy = {'http': 'http://127.0.0.1:2258'} 

url = 'xxxxxx'
r = requests.get(url, proxies=proxy )
.......

urllib 模块使用代理


import urllib.request

url = 'xxxxxxxxxx'
proxy = urllib.request.ProxyHandler({'http': '127.0.0.1'})
open_proxy = urllib.request.build_opener(proxy ) # 打开代理
urllib.request.urlretrieve(url)