Python爬虫代理IP伪装成功检测方法

Ada
Ada
发布时间:2026-10-13| 5人浏览过
原创

本文介绍在Python爬虫程序中验证代理IP是否成功配置的方法。通过访问httpbin.org/ip获取当前出口IP,并结合ip138.com进行比对,可确认代理是否生效。文中提供了基于requests库的完整代码示例,包含动态隧道代理的配置与IP切换头设置,帮助开发者快速排查代理连接问题。

代理IP检测原理与步骤

在开发爬虫程序时,即使已配置代理服务器,有时仍无法确认程序是否真正获取了代理IP,特别是在使用动态转发模式的情况下。为了验证代理伪装是否成功,可以采用特定的检测手段。以下介绍一种有效的检测方式,并推荐参考亿牛云提供的代码示例进行配置与测试。

Python requests代理配置示例


Python¶
requests
 #! -*- encoding:utf-8 -*-
 import requests
 import random
 
 # 要访问的目标页面
 targetUrl = "http://httpbin.org/ip"
 # 要访问的目标HTTPS页面
 # targetUrl = "https://httpbin.org/ip"
 # 代理服务器
 proxyHost = "t.16yun.cn"
 proxyPort = "31111"
 # 代理隧道验证信息
 proxyUser = "16ZKBRLB"
 proxyPass = "234076"
 proxyMeta = "http://%(user)s:%(pass)s@%(host)s:%(port)s" % {
 "host" : proxyHost,
 "port" : proxyPort,
 "user" : proxyUser,
 "pass" : proxyPass,
 }
 # 设置 http和https访问都是用HTTP代理
 proxies = {
 "http" : proxyMeta,
 "https" : proxyMeta,
 }
 # 设置IP切换头
 tunnel = random.randint(1,10000)
 headers = {"Proxy-Tunnel": str(tunnel)}
 resp = requests.get(targetUrl, proxies=proxies, headers=headers)
 print resp.status_code
 print resp.text

IP有效性验证方法

检测代理是否生效的简单方法是:在代码中配置好代理后,直接访问 http://httpbin.org/ip 网站以获取当前请求的出口IP地址。获取该IP后,再访问 www.ip138.com 查询该IP的归属地或类型信息,通过对比预期代理IP与实际返回IP,即可判断代理是否成功获取并生效。

免责声明:本文内容仅供参考,不代表本站观点。转载或引用请注明出处。

Python 相关产品和应用

全部下载
Selenium

Selenium

4.51.0 · Windows

用于浏览器自动化和 Web 测试的 Python 工具。

scikit-learn

scikit-learn

1.9.1 · Windows

常用 Python 机器学习算法与模型评估工具库。

Black

Black

26.10.1 · Windows

强调一致性的 Python 自动代码格式化工具。

Ruff

Ruff

0.17.1 · macOS

由 Rust 编写的高速 Python 代码检查和格式化工具。

pytest

pytest

9.1.1 · Windows

简洁而强大的 Python 自动化测试框架。

FastAPI

FastAPI

0.146.0 · Windows

高性能 Python API 框架,支持类型提示和自动接口文档。

Flask

Flask

3.1.3 · Windows

轻量灵活的 Python Web 应用框架。

Django

Django

6.1.2 · Windows

成熟的 Python Web 框架,适合构建内容站点和业务系统。

Spyder

Spyder

6.1.7 · Windows

面向科学计算与数据分析的 Python 集成开发环境。

SciPy

SciPy

1.18.1 · Windows

面向科学、工程和技术计算的 Python 算法库。