Python使用requests模块下载图片的两种实现方式

使用requests模块下载图片

在Python中，使用 requests 库下载图片是一个常见的需求。为了模拟浏览器行为并避免被服务器拒绝，通常需要设置 headers 中的 User-Agent。此外，对于较大的图片文件，推荐使用流式传输（streaming）方式，即设置 stream=True，这样可以分块读取内容并写入本地文件，避免一次性加载整个响应体到内存中。

基础实现：分块写入文件

以下代码展示了如何下载图片并保存为 demo.jpg。通过 response.iter_content(128) 每次读取128字节的数据块，并写入打开的文件对象中。

# -*- coding: utf-8 -*-
import requests
def download_image():
  """
  demo:下载图片
  :return:
  """
  headers = {"User-Agent":"Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36"}
  url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1491366667515&di=8dad3d86740af2c49d3d0461cfd81f63&imgtype=0&src=http%3A%2F%2Fhdn.xnimg.cn%2Fphotos%2Fhdn521%2F20120528%2F1615%2Fh_main_LBxi_2917000000451375.jpg"
  response = requests.get(url, headers=headers, stream=True)
  #print str(response.text).decode('ascii').encode('gbk')
  with open('demo.jpg', 'wb') as fd:
    for chunk in response.iter_content(128):
      fd.write(chunk)
download_image()

优化实现：使用contextlib关闭连接

在基础实现中，如果发生异常，网络连接可能不会被正确关闭。为了更规范地处理资源释放，可以使用 contextlib.closing 来确保响应对象在使用完毕后自动关闭连接。这种方式更加健壮，适用于生产环境。

def download_image_improved():
  """demo: 下载图片"""
  #伪造headers信息
  headers = {
    "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/45.0.2454.101 Safari/537.36"}
  #限定URL
  url = "https://timgsa.baidu.com/timg?image&quality=80&size=b9999_10000&sec=1491366667515&di=8dad3d86740af2c49d3d0461cfd81f63&imgtype=0&src=http%3A%2F%2Fhdn.xnimg.cn%2Fphotos%2Fhdn521%2F20120528%2F1615%2Fh_main_LBxi_2917000000451375.jpg"
  response = requests.get(url, headers=headers, stream=True)
  from contextlib import closing
  #用完流自动关掉
  with closing(requests.get(url, headers=headers, stream=True)) as response:
    #打开文件
    with open('demo1.jpg', 'wb') as fd:
      #每128写入一次
      for chunk in response.iter_content(128):
        fd.write(chunk)
download_image_improved()

运行上述代码后，当前目录下将生成 demo.jpg 或 demo1.jpg 文件，即为下载的图片。