2024 一天掌握python爬蟲【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium：

https://www.bilibili.com/video/BV1Ju4y1Y7k6/

selenium可以模擬用戶點擊事件，以及控制瀏覽器前進，后退等操作。

下面是一個模擬百度搜索，點擊下一頁，控制瀏覽器后退，前進的案例。

import time

from selenium import webdriver
from selenium.webdriver.common.by import By

# 創(chuàng)建瀏覽器操作對象
browser = webdriver.Chrome()

url = "https://www.baidu.com"

browser.get(url)

time.sleep(2)

# 獲取文本框的對象
input = browser.find_element(By.ID, "kw")

# 在文本框中輸入python
input.send_keys('python')

time.sleep(2)

# 獲取百度一下的按鈕
button = browser.find_element(By.ID, 'su')

# 點擊按鈕
button.click()

time.sleep(2)

# 滑到底部
# js_bottom = 'window.scrollTo(0,document.body.scrollHeight)'
js_bottom = 'document.documentElement.scrollTop=10000'
js_top = 'document.documentElement.scrollTop=0'
browser.execute_script(js_bottom)

time.sleep(2)

browser.execute_script(js_top)

time.sleep(2)

# 獲取下一頁的按鈕
next_button = browser.find_element(By.XPATH, '//a[@class="n"]')

# 點擊下一頁
next_button.click()

time.sleep(2)

browser.execute_script(js_bottom)

time.sleep(2)

# 返回到前一個歷史記錄 相當(dāng)于 瀏覽器的返回按鈕
browser.back()

time.sleep(2)

# 返回到后一個歷史記錄  相當(dāng)于 瀏覽器的前進按鈕
browser.forward()

browser.execute_script(js_bottom)

time.sleep(2)

# 退出
browser.quit()