天天看點

python爬蟲練習2--招聘網站資料爬蟲

1.爬取的資料

我們對全國的資料分析崗進行了爬蟲,主要有jobName,details,company,company_type,job_type,salary

python爬蟲練習2--招聘網站資料爬蟲

2.網站:51job

3.檢視源代碼

python爬蟲練習2--招聘網站資料爬蟲

4.代碼

python爬蟲練習2--招聘網站資料爬蟲
python爬蟲練習2--招聘網站資料爬蟲

備注:遇到的問題有xpath的方式解析擷取資料失敗,原因是檢查中元素裡有的源代碼裡沒有,這是因為設定了反爬蟲。

解決方法:采用正規表達式解析擷取