Python实现西刺代理IP抓取与可用性检测

Owen

发布时间：2026-10-13| 6人浏览过

原创

本文介绍使用Python抓取西刺代理网站IP并验证其可用性的完整流程。针对反爬机制，通过设置请求头、增加延时及切换备选网站（如IP巴士）来应对封禁。代码展示了从抓取、解析到通过测试URL验证代理有效性的具体实现，旨在为开发者提供可参考的免费代理获取方案。

在进行网络爬虫开发时，频繁遭遇目标网站屏蔽IP地址是常见难题。单一IP往往难以支撑长期运行，出于成本控制考虑，开发者倾向于自行寻找免费资源。本文以抓取西刺代理网站上的IP为例，尽管该网站本身也具备反爬取机制，增加了获取难度。

面对反爬限制，一种可行的策略是增加请求间隔时间。由于抓取频率过高可能导致IP被封禁，适当降低请求速率有助于缓解这一问题，从而更稳定地获取数据。

此外，不应局限于单一来源，建议尝试其他代理平台，例如IP巴士，通过多源采集提高获取成功率，确保数据的多样性和稳定性。

以下是具体的实现代码。

#!/usr/bin/env python
# -*- coding:utf8 -*-
import urllib2
import time
from bs4 import BeautifulSoup
import sys
reload(sys)
sys.setdefaultencoding( "utf-8" )
req_header = {'User-Agent':'Mozilla/5.0 (Windows NT 6.1) AppleWebKit/537.11 (KHTML, like Gecko) Chrome/23.0.1271.64 Safari/537.11',
 'Accept':'text/html,application/xhtml+xml,application/xml;q=0.9,*/*;q=0.8',
 #'Accept-Language': 'en-US,en;q=0.8,zh-Hans-CN;q=0.5,zh-Hans;q=0.3',
 'Accept-Charset':'ISO-8859-1,utf-8;q=0.7,*;q=0.3',
 'Accept-Encoding':'en-us',
 'Connection':'keep-alive',
 'Referer':'http://www.baidu.com/'
 }
req_timeout = 5
testUrl = "http://www.baidu.com/"
testStr = "wahaha"
file1 = open('proxy.txt' , 'w')
# url = ""
# req = urllib2.Request(url,None,req_header)
# jsondatas = urllib2.urlopen(req,None,req_timeout).read()
cookies = urllib2.HTTPCookieProcessor()
checked_num = 0
grasp_num = 0
for page in range(1, 160):
 req = urllib2.Request('http://www.xici.net.co/nn/' + str(page), None, req_header)
 html_doc = urllib2.urlopen(req, None, req_timeout).read()
 # html_doc = urllib2.urlopen('http://www.xici.net.co/nn/' + str(page)).read()
 soup = BeautifulSoup(html_doc)
 trs = soup.find('table', id='ip_list').find_all('tr')
 for tr in trs[1:]:
  tds = tr.find_all('td')
  ip = tds[1].text.strip()
  port = tds[2].text.strip()
  protocol = tds[5].text.strip()
  if protocol == 'HTTP' or protocol == 'HTTPS':
   #of.write('%s=%s:%s\n' % (protocol, ip, port))
   print '%s=%s:%s' % (protocol, ip, port)
   grasp_num +=1
   proxyHandler = urllib2.ProxyHandler({"http": r'http://%s:%s' % (ip, port)})
   opener = urllib2.build_opener(cookies, proxyHandler)
   opener.addheaders = [('User-Agent',
         'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/31.0.1650.63 Safari/537.36')]
   t1 = time.time()
   try:
    req = opener.open(testUrl, timeout=req_timeout)
    result = req.read()
    timeused = time.time() - t1
    pos = result.find(testStr)
    if pos > 1:
     file1.write(protocol+"\t"+ip+"\t"+port+"\n")
     checked_num+=1
     print checked_num, grasp_num
    else:
     continue
   except Exception,e:
    continue
file1.close()
print checked_num,grasp_num

代码逻辑相对直观，未添加过多注释，相信具备基础Python知识的读者能够理解。若存在疑问或改进建议，欢迎指正，共同促进技术提升。

以上就是Python爬虫抓取代理IP并检验可用性的完整实例分享，希望能为读者提供有价值的参考。欢迎支持本站，获取更多技术内容。