Python Selenium爬虫代码：怎么获取JavaScript动态渲染页面数据

# 安装 Selenium 核心库（建议 4.6.0 及以上版本）
pip install selenium

from selenium import webdriver
from selenium.webdriver.chrome.options import Options
from selenium.webdriver.chrome.service import Service
from selenium.webdriver.common.by import By
from selenium.webdriver.support.ui import WebDriverWait
from selenium.webdriver.support import expected_conditions as EC

def scrape_dynamic_page(url: str):
    # 1. 配置 Chrome 运行选项
    options = Options()
    # 启用现代无头模式（Chrome 109+ 推荐新语法）
    options.add_argument("--headless=new")
    # 禁用 GPU 硬件加速，提升容器及服务器环境运行兼容性
    options.add_argument("--disable-gpu")
    # 解决部分 Linux 环境下共享内存不足导致崩溃的问题
    options.add_argument("--no-sandbox")
    options.add_argument("--disable-dev-shm-usage")
    # 伪装常见的桌面浏览器 User-Agent，避免被直接拦截
    options.add_argument(
        "user-agent=Mozilla/5.0 (Windows NT 10.0; Win64; x64) "
        "AppleWebKit/537.36 (KHTML, like Gecko) Chrome/120.0.0.0 Safari/537.36"
    )

    # 2. 初始化 WebDriver 实例（Selenium 4 会自动托管驱动匹配）
    driver = webdriver.Chrome(options=options)
    
    try:
        print(f"正在导航至目标页面: {url}")
        driver.get(url)

        # 3. 显式等待：核心防翻车关键
        # 设置最大等待超时时间为 10 秒，每 0.5 秒轮询一次 DOM 树
        # 等待目标动态列表容器（此处以 class="product-item" 为例）渲染并挂载到 DOM 中
        wait = WebDriverWait(driver, timeout=10, poll_frequency=0.5)
        target_locator = (By.CSS_SELECTOR, ".product-item")
        
        # 确认至少有一个目标元素已经出现在页面 DOM 中
        wait.until(EC.presence_of_element_located(target_locator))
        print("JavaScript 渲染完成，目标 DOM 节点已成功挂载！")

        # 4. 获取所有动态渲染完毕的节点
        elements = driver.find_elements(*target_locator)
        results = []
        
        for index, el in enumerate(elements, start=1):
            # 在父节点内继续查询子节点信息
            try:
                title = el.find_element(By.CSS_SELECTOR, ".title").text.strip()
            except Exception:
                title = "暂无标题"

            try:
                price = el.find_element(By.CSS_SELECTOR, ".price").text.strip()
            except Exception:
                price = "暂无价格"

            results.append({"index": index, "title": title, "price": price})

        print(f"共成功抓取到 {len(results)} 条动态渲染数据。")
        return results

    except Exception as e:
        print(f"抓取过程中发生异常: {e}")
        return []

    finally:
        # 5. 安全销毁驱动实例，杜绝后台僵尸 Chrome 进程
        driver.quit()
        print("WebDriver 已安全退出。")

if __name__ == "__main__":
    # 执行测试示例
    target_url = "https://quotes.toscrape.com/js/"
    data = scrape_dynamic_page(target_url)
    for item in data[:3]:
        print(item)

import time

def scroll_to_load_all(driver, max_scrolls=10, pause_time=1.5):
    """
    通过注入 JavaScript 滚动页面，动态触发懒加载数据
    """
    # 获取初始页面滚动总高度
    last_height = driver.execute_script("return document.body.scrollHeight")
    
    for scroll_idx in range(max_scrolls):
        # 执行滚屏至当前最底部
        driver.execute_script("window.scrollTo(0, document.body.scrollHeight);")
        # 适当等待新数据包返回并完成 DOM 挂载
        time.sleep(pause_time)
        
        # 获取滚屏后的新总高度
        new_height = driver.execute_script("return document.body.scrollHeight")
        print(f"第 {scroll_idx + 1} 次滚动：旧高度={last_height}, 新高度={new_height}")
        
        # 如果高度没有发生变化，说明已经到达真正的数据底部
        if new_height == last_height:
            print("已触达页面最底部，懒加载全部结束。")
            break
            
        last_height = new_height