Python爬虫实战：利用requests与BeautifulSoup抓取猫眼电影Top100

周叙

发布时间：2026-10-13| 2人浏览过

原创

本文详细介绍如何使用Python的requests模块发起HTTP请求获取HTML源码，并结合BeautifulSoup库解析网页结构。通过抓取猫眼电影Top100榜单的具体案例，演示安装依赖、构造请求及提取电影标题与链接的完整流程，提供可直接运行的代码示例。

本文主要探讨如何利用Python中的requests库与BeautifulSoup库来构建一个基础的网络爬虫程序，具体实施步骤如下文所述。

功能说明

在Python环境中，可以调用requests模块向指定URL发起请求以获取响应的HTML内容，随后使用BeautifulSoup对获取到的HTML文档进行解析处理。

案例

假设目标是获取猫眼电影Top100榜单中关于“board/4”分类下的电影相关信息，具体页面效果如下图所示：

主要任务是提取每部电影的标题及其对应的详情页面URL。

安装requests和BeautifulSoup

通过pip工具执行命令来安装上述两个必要的第三方库。

pip install requests

pip install beautifulsoup4

程序

__author__ = 'Qian Yang'
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
def get_one_page(url):
  response= requests.get(url)
  if response.status_code == 200:
    return response.content.decode("utf8","ignore").encode("gbk","ignore")
#采用BeautifulSoup解析
def bs4_paraser(html):
  all_value = []
  value = {}
  soup = BeautifulSoup(html,'html.parser')
  # 获取每一个电影
  all_div_item = soup.find_all('div', attrs={'class': 'movie-item-info'})
  for r in all_div_item:
    # 获取电影的名称和url
    title = r.find_all(name="p",attrs={"class":"name"})[0].string
    movie_url = r.find_all('p', attrs={'class': 'name'})[0].a['href']
    value['title'] = title
    value['movie_url'] = movie_url
    all_value.append(value)
    value = {}
  return all_value

def main():
  url = 'http://maoyan.com/board/4'
  html = get_one_page(url)
  all_value = bs4_paraser(html)
  print(all_value)

if __name__ == '__main__':
  main()

经测试代码可正常运行，最终实现的效果如下所示：