Python爬虫设置代理IP实战：从获取到使用的完整指南

设置代理IP的原因

在使用Python进行网络爬虫开发时，我们往往需要对目标网站进行高频访问。许多网站设有安全机制，会监控特定IP在单位时间内的访问频率。一旦检测到访问次数超出阈值，系统便会自动屏蔽该IP的访问权限。为应对这一情况，我们可以配置代理服务器作为中转，并定期轮换代理地址，从而有效避免因访问过于频繁而被网站禁止访问的问题。

在学习Python爬虫的过程中，开发者常会遇到目标网站启用反爬取技术，导致数据抓取失败。由于高效、密集的数据抓取会给服务器造成巨大负载，网站通常会限制同一IP对同一页面的重复请求。若频繁使用相同IP爬取，极易触发封禁机制。因此，掌握设置代理IP的技巧，是突破反爬限制、保障爬虫稳定运行的关键手段。

本文介绍一种免费获取代理IP的途径。该方式的优势在于无需成本，但不足之处在于抓取到的IP列表中往往包含大量不可用或无效的地址，需要进一步筛选。

我们可以从国内高匿代理IP网站（如西刺代理）获取IP地址。通常情况下，爬取首页的IP列表即可满足一般使用需求；当然，如果需要更多资源，也可以依次爬取第一页、第二页等后续页面。

配置环境

• 安装requests库
• 安装bs4库
• 安装lxml库

具体代码

话不多说直接上代码吧

from bs4 import BeautifulSoup
import requests
import random

def get_ip_list(url, headers):
 web_data = requests.get(url, headers=headers)
 soup = BeautifulSoup(web_data.text, 'lxml')
 ips = soup.find_all('tr')
 ip_list = []
 for i in range(1, len(ips)):
  ip_info = ips[i]
  tds = ip_info.find_all('td')
  ip_list.append(tds[1].text + ':' + tds[2].text)
 return ip_list

def get_random_ip(ip_list):
 proxy_list = []
 for ip in ip_list:
  proxy_list.append('http://' + ip)
 proxy_ip = random.choice(proxy_list)
 proxies = {'http': proxy_ip}
 return proxies

if __name__ == '__main__':
 url = 'http://www.xicidaili.com/nn/'
 headers = {
 'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.17 (KHTML, like Gecko) Chrome/24.0.1312.60 Safari/537.17'
 }
 ip_list = get_ip_list(url, headers=headers)
 proxies = get_random_ip(ip_list)
 print(proxies)

函数get_ip_list(url, headers)接收url和headers参数，最终返回一个包含IP地址和端口号的列表。列表中的元素格式类似于122.114.31.177:808，该列表涵盖了国内高匿代理IP网站首页上所有可用的IP地址及其对应端口。

函数get_random_ip(ip_list)接收由第一个函数生成的IP列表，并返回一个随机的proxies对象。这个proxies对象可以直接传入requests库的get方法中，从而实现在每次运行时使用不同的IP访问目标网站，有效降低真实IP被封禁的风险。

proxies的格式是一个字典：{‘http': ‘http://122.114.31.177:808‘} ，可以将下面的执行也封装为方法

对于抓取IP这一环节，西刺代理的服务器已实施反爬处理。如果频繁发起抓取请求，服务器会主动返回503错误，并提示block。因此，在请求时建议先一次性抓取并保存至文件，随后从文件中读取；或者采用爬取一个IP后使用几分钟，再重新抓取一次的策略，这相当于引入了定时功能，以规避反爬检测。

代理IP的使用

运行上述代码后，我们将获得一个随机的proxies对象，直接将其传入requests库的get方法中即可正常使用。

res = requests.get(url, headers=headers, proxies=proxies)

总结

以上就是这篇文章的全部内容了，希望本文的内容对大家的学习或者工作具有一定的参考学习价值，如果有疑问大家可以留言交流，谢谢大家对本站的支持。