Python 爬虫基础：原理、请求方式与异常处理

爬虫基础与核心组件

网页通常由HTML、JavaScript和CSS构成，爬虫程序通过解析这些内容获取所需信息。Python实现爬虫时，主要涉及两个关键对象：request用于构造并发送网络请求，response用于接收服务器返回的响应。通过调用read()函数，可以获取并输出网页的源代码。

基础请求示例

最简单的爬虫操作是向指定URL发送GET请求并读取内容。以下代码演示了如何访问百度首页并打印源码：

import urllib
import urllib2
url="http://www.baidu.com"
request=urllib2.Request(url)
response=urllib2.urlopen(request)
print response.read()

数据提交方式：GET与POST

在抓取需要交互的网页（如登录页面）时，数据传递方式主要分为GET和POST两种，它们在参数可见性和安全性上存在显著差异。

POST方式提交数据

POST方式将参数封装在请求体中，不会直接显示在网址栏，适合提交敏感信息（如用户名和密码）。实现步骤包括：定义参数字典，使用urllib.urlencode()进行URL编码，构建包含数据的Request对象，最后发送请求。

import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url='https://passport.csdn.net/account/login?from=http://my.csdn.net/my/mycsdn'
request=urllib2.Request(url,data)
response=urllib2.urlopen(request)
print response.read()

GET方式拼接参数

GET方式将参数直接附加在URL之后，参数内容在网址中可见。实现时需手动将编码后的数据拼接至URL末尾，再构建Request对象。

import urllib
import urllib2
values={'username':'2680559065@qq.com','Password':'XXXX'}
data=urllib.urlencode(values)
url = "http://passport.csdn.net/account/login"
geturl = url + "?"+data
request=urllib2.Request(geturl)
response=urllib2.urlopen(request)
print response.read()

异常处理机制

网络请求可能因目标服务器不可用、网络中断等原因失败。使用try-except语句捕获urllib2.URLError异常，可以获取错误原因（如e.reason），从而增强程序的健壮性。

import urllib2
try:
  response=urllib2.urlopen("http://www.xxx.com")
except urllib2.URLError,e:
  print e.reason

以上就是Python爬虫基本知识的详细内容，更多关于Python网络编程与数据抓取的资料请关注本站其它相关文章！