1.爬取的資料
我們對全國的資料分析崗進行了爬蟲,主要有jobName,details,company,company_type,job_type,salary
2.網站:51job
3.檢視源代碼
4.代碼
備注:遇到的問題有xpath的方式解析擷取資料失敗,原因是檢查中元素裡有的源代碼裡沒有,這是因為設定了反爬蟲。
解決方法:采用正規表達式解析擷取
1.爬取的資料
我們對全國的資料分析崗進行了爬蟲,主要有jobName,details,company,company_type,job_type,salary
2.網站:51job
3.檢視源代碼
4.代碼
備注:遇到的問題有xpath的方式解析擷取資料失敗,原因是檢查中元素裡有的源代碼裡沒有,這是因為設定了反爬蟲。
解決方法:采用正規表達式解析擷取