Python爬虫设置代理IP的方法(爬虫技巧)
发布时间：2026-10-13| 3人浏览过
本文详细介绍在Python爬虫开发中应对反爬机制的代理IP设置方法。通过安装requests、bs4和lxml库，构建从免费代理网站抓取IP并随机选取的完整流程。代码演示如何利用random模块生成符合requests格式的代理字典，有效规避真实IP被封风险，提升爬虫稳定性。
在进行Python爬虫开发时，常会遇到目标网站启用反爬取技术的情况。高频且高效的网页信息抓取会给服务器造成巨大压力，因此若同一IP反复访问同一页面，极易导致IP被封禁。本文旨在分享一种有效的爬虫技巧：通过设置代理IP来解决这一问题。
（一）配置环境
- 安装requests库
- 安装bs4库
- 安装lxml库
（二）代码展示
# IP地址取自国内髙匿代理IP网站：http://www.xicidaili.com/nn/
# 仅仅爬取首页IP地址就足够一般使用
from bs4 import BeautifulSoup
import requests
import random
def get_ip_list(url, headers):
web_data = requests.get(url, headers=headers)
soup = BeautifulSoup(web_data.text, 'lxml')
ips = soup.find_all('tr')
ip_list = []
for i in range(1, len(ips)):
ip_info = ips[i]
tds = ip_info.find_all('td')
ip_list.append(tds[1].text + ':' + tds[2].text)
return ip_list
def get_random_ip(ip_list):
proxy_list = []
for ip in ip_list:
proxy_list.append('http://' + ip)
proxy_ip = random.choice(proxy_list)
proxies = {'http': proxy_ip}
return proxies
if __name__ == '__main__':
url = 'http://www.xicidaili.com/nn/'
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/53.0.2785.143 Safari/537.36'
}
ip_list = get_ip_list(url, headers=headers)
proxies = get_random_ip(ip_list)
print(proxies)函数get_ip_list(url, headers)传入url和headers，最后返回一个IP列表，列表的元素类似42.84.226.65:8888格式，这个列表包括国内髙匿代理IP网站首页所有IP地址和端口。
函数get_random_ip(ip_list)接收由前一个函数生成的IP列表，并返回一个随机的proxies对象。该proxies对象可直接传入requests的get方法中，从而实现每次运行都使用不同的IP访问目标网站，有效降低真实IP被封的风险。其中，proxies的数据格式为一个字典：{‘http': ‘http://42.84.226.65:8888‘}。
（三）代理IP的使用
执行上述代码后，将获得一个随机生成的proxies对象，直接将其作为参数传入requests的get方法即可生效。
web_data = requests.get(url, headers=headers, proxies=proxies)
总结
以上内容介绍了Python爬虫中设置代理IP的具体方法及相关技巧，希望能对读者有所帮助。如有任何疑问，欢迎留言，小编会及时回复大家！
免责声明：本文内容仅供参考，不代表本站观点。转载或引用请注明出处。
