Python爬取免费代理IP并验证可用性的完整脚本

陈默

发布时间：2026-10-15| 5人浏览过

原创

本文介绍如何使用Python脚本自动抓取免费代理IP并验证其可用性。针对网站IP频率限制（如每小时1000条），通过切换代理IP突破限制，将40天的采集时间大幅缩短。脚本包含获取代理列表和测试代理有效性的核心功能，帮助开发者高效解决爬虫被封禁问题。

Python代理IP抓取与验证脚本介绍

这里分享一个Python脚本，用于获取代理IP来访问网页，方便进行数据抓取等操作，并自动验证IP是否可用。

使用代理IP突破频率限制的场景分析

什么情况下会用到代理IP？比如你要抓取一个网站数据，该网站有100万条内容，他们做了IP限制，每个IP每小时只能抓1000条，如果单个IP去抓因为受限，需要40天左右才能采集完，如果用了代理IP，不停的切换IP，就可以突破每小时1000条的频率限制，从而提高效率。

脚本开始：

Python获取及验证代理IP代码实现

import requests
from lxml import etree
# 获取快代理首页的代理
def get_proxy_list():
    url = "https://www.jxmtjt.com/"
    payload = {}
    headers = {
        "User-Agent": "Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36",
        'Accept': 'application/json, text/javascript, */*; q=0.01',
    }
    response = requests.request("GET", url, headers=headers, data=payload)
    res = []
    _ = etree.HTML(response.text)
    type_dct = {
        "HTTP": "http://",
        "HTTPS": "https://"
    }
    data_list = _.xpath("//tbody/tr")
    for data in data_list:
        ip = data.xpath("./td[1]/text()")[0]
        port = data.xpath("./td[2]/text()")[0]
        type = data.xpath("./td[4]/text()")[0]
        res.append(type_dct[type] + ip + ':' + port)
    return res
# 测试代理
def check(proxy):
    href = 'http://www.baidu.com/'
    if 'https' in proxy:
        proxies = {'https': proxy}
    else:
        proxies = {'http': proxy}
    headers = {
        'User-Agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 11_2_2) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4396.0 Safari/537.36'
    }
    try:
        r = requests.get(href, proxies=proxies, timeout=5, headers=headers)
        if r.status_code == 200:
            return True
    except:
        return False
if __name__ == '__main__':
    proxy_list = get_proxy_list()
    print(proxy_list)
    for p in proxy_list:
        print(p, check(p))
大家代码复制后，把获取代理ip的网址改一改就可以用了，代码我一直在用，大家也可以cnblogs，百度搜索一下有没有免费的代理ip获取网址~

到此这篇关于python爬取免费代理并验证是否可用的文章就介绍到这了,更多相关python爬取免费代理内容请搜索本站以前的文章或继续浏览下面的相关文章希望大家以后多多支持本站！