Python爬虫遭遇反爬报错：通过添加User-Agent伪装浏览器请求

栗子

发布时间：2026-10-13| 4人浏览过

原创

本文针对Python爬虫突然报错Http 800 Internal internet error的问题，分析原因为目标网站启用了反爬虫程序。通过对比修改前后的代码，演示如何为urllib.request.Request对象添加User-Agent头部信息，伪装成浏览器请求以绕过限制，恢复爬虫正常运行。

有时，原本运行正常的爬虫代码会突然报错，导致程序中断。

具体的报错信息如下：

Http 800 Internal internet error

出现该错误通常是因为目标网站部署了反爬虫机制，导致原有的爬虫代码被拒绝访问。

以下是之前能够正常运行的爬虫代码示例：

from urllib.request import urlopen
...
html = urlopen(scrapeUrl)
bsObj = BeautifulSoup(html.read(), "html.parser")

为了解决这个问题，我们需要对爬虫代码进行伪装处理。

具体做法是添加请求头（Header），将请求伪装成来自浏览器的合法访问。

修改后的代码如下：

import urllib.parse
import urllib.request
from bs4 import BeautifulSoup
...
req = urllib.request.Request(scrapeUrl)
req.add_header('User-Agent', 'Mozilla/4.0 (compatible; MSIE 5.5; Windows NT)') 
response = urllib.request.urlopen(req) 
html = response.read()
 
bsObj = BeautifulSoup(html, "html.parser")

完成上述修改后，问题即可解决，爬虫可以继续正常运行。

以上就是本文的全部内容，希望对大家的学习有所帮助，也希望大家多多支持本站。