2024 一天掌握python爬蟲【基礎(chǔ)篇】 涵蓋 requests、beautifulsoup、selenium：
https://www.bilibili.com/video/BV1Ju4y1Y7k6/
百度搜索請求地址：
如果我們直接用requests.get()進行訪問，發(fā)現(xiàn)沒有返回內(nèi)容，因為百度服務(wù)器通過headers頭信息做了反爬手段，所以我們請求的時候，要帶上headers頭信息；以及requests支持請求參數(shù)key:value格式傳遞，我們可以通過url打印看結(jié)果。
所以標(biāo)準(zhǔn)代碼案例如下：
import requests
url = "https://www.baidu.com/s"
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/117.0.0.0 Safari/537.36'
}
data = {
'wd': '寶馬'
}
r = requests.get(url=url, params=data, headers=headers)
print(r.url)
print(r.status_code)
print(r.text)
