Scrapy 配置动态代理IP的实现

程一诺

发布时间：2026-10-14| 5人浏览过

原创

本文介绍如何在Scrapy框架中配置动态代理IP以应对网站反爬机制。通过设置DOWNLOADER_MIDDLEWARES启用ProxyMiddleware和CheckProxyMiddleware，并在settings中定义PROXIES列表，实现请求IP的随机切换与基础验证，帮助爬虫稳定获取数据。

Scrapy动态代理IP配置方案

在应用Scrapy框架进行数据采集时，配置动态IP处理是应对目标网站反爬策略的关键步骤。


# settings 配置中间件
DOWNLOADER_MIDDLEWARES = {
  'text.middlewares.TextDownloaderMiddleware': 543,
  # 'text.middlewares.RandomUserAgentMiddleware': 544,
  # 'text.middlewares.CheckUserAgentMiddleware': 545,
  'text.middlewares.ProxyMiddleware': 546,
  'text.middlewares.CheckProxyMiddleware': 547
}

 
# settings 配置可用动态IP
PROXIES = [
  "http://101.231.104.82:80",
  "http://39.137.69.6:8080",
  "http://39.137.69.10:8080",
  "http://39.137.69.7:80",
  "http://39.137.77.66:8080",
  "http://117.191.11.102:80",
  "http://117.191.11.113:8080",
  "http://117.191.11.113:80",
  "http://120.210.219.103:8080",
  "http://120.210.219.104:80",
  "http://120.210.219.102:80",
  "http://119.41.236.180:8010",
  "http://117.191.11.80:8080"
]


# middlewares 配置中间件
import random

class ProxyMiddleware(object):

  def process_request(self, request, spider):
    ip = random.choice(spider.settings.get('PROXIES'))
    print('测试IP:', ip)
    request.meta['proxy'] = ip


class CheckProxyMiddleware(object):

  def process_response(self, request, response, spider):
    print('代理IP:', request.meta['proxy'])
    return response

以上即为Scrapy配置动态代理IP的完整实现方案，更多关于Scrapy动态代理IP的使用技巧，建议查阅本站历史文章或继续浏览后续相关内容，感谢大家的支持。