Selenium解决网页懒加载与滚动加载问题的两种方案

Selenium处理滚动加载问题的背景

在使用Selenium进行网页爬取时，常遇到一种情况：网页内容并非一次性全部加载，而是需要用户滚动鼠标才能加载剩余部分。若此时直接尝试模拟翻页或定位元素，往往因内容未完全加载而找不到目标，导致报错。

针对这一常见问题，本文提供两种可行的解决思路供参考。

方法一：调整浏览器窗口高度

第一种方法是通过Selenium控制浏览器，将浏览器窗口的高度设置为一个足够大的数值，随后设置适当的延时，等待页面内容全部加载完成。

import time
from selenium import webdriver
driver = webdriver.Firefox()
driver.set_window_size(1000,30000)
driver.get(url)
time.sleep(5)

方法二：模拟浏览器下拉滚动

第二种方法则是通过Selenium模拟浏览器的下拉滚动操作，逐步触发页面的动态加载。

from selenium import webdriver
import time
browser.execute_script("window.scrollBy(0,3000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,5000)")
time.sleep(1)
browser.execute_script("window.scrollBy(0,8000)")
time.sleep(1)

懒加载与page_source获取技巧

补充说明：关于如何实现懒加载页面滚动至底部，使page_source一次性包含全部网页内容的技术细节。

部分网站采用懒加载技术，即只有当浏览器纵向滚动条滚动到特定位置时，对应的页面元素才会被动态加载出来。

需要注意的是，在内容加载完成之前，Selenium获取的page_source并不包含那些尚未加载的元素，它仅反映当前已渲染在视口内的页面内容。

因此，要实现加载全部内容，必须模拟人类滚动滚动条的行为，从而触发页面的动态加载机制。

from selenium.webdriver.chrome.options import Options
from selenium import webdriver
from selenium.common.exceptions import TimeoutException
from selenium.webdriver.support.wait import WebDriverWait
from selenium.webdriver.common.by import By
from selenium.webdriver.support import expected_conditions as EC
 
  def scroll_until_loaded(self):
    check_height = self.browser.execute_script("return document.body.scrollHeight;")
    while True:
      self.browser.execute_script("window.scrollTo(0, document.body.scrollHeight);")
      try:
        self.wait.until(lambda driver: self.browser.execute_script("return document.body.scrollHeight;") > check_height)
        check_height = self.browser.execute_script("return document.body.scrollHeight;")
      except TimeoutException:
        break

此外，懒加载机制并非始终有效。当网络状况不佳时，若加载时间超过设定的wait()等待时间，程序会误判为加载已完成，此时page_source中仍只包含之前已加载的部分代码。因此，在执行翻页操作后，建议增加time.sleep(3)等等待语句，确保网页充分加载并更新HTML后，再获取网页源代码。

以上关于Selenium应对网页滚动加载问题的探讨即为全部分享内容，希望能对读者有所帮助，也欢迎大家继续支持本站。