爬取51job职位信息

今天在爬职位信息的时候，先用的requests模块，后来发现，获取的数据全部是乱码。果断换成selenium+Chrome,成功获取数据，保存MongoDB

在前期校验获取成果时，建议用selenium+Chrome，后期测试通过，换成无界面的PhantomJS

代码如下：

import time

from selenium import webdriver

from selenium.webdriver.common.by import By

from selenium.webdriver.support.ui import WebDriverWait

from selenium.webdriver.support import expected_conditions as EC

from pyquery import PyQuery as pq

# from config import *

import pymongo

browser = webdriver.Chrome('/home/worker/Desktop/driver/chromedriver')

wait = WebDriverWait(browser, 10)

browser.set_window_size(1400, 900)

# 连接数据库

client = pymongo.MongoClient('127.0.0.1', 27017)

# 定义数据库名称

db = client.Job

# 定义表名

coll = db.job

for i in range(1,101):

browser.get('https://search.51job.com/list/020000,000000,0000,00,9,99,Python,2,{}.html?.format(i))

    wait.until(

        EC.presence_of_element_located((By.CSS_SELECTOR, '#resultList > div'))

    )

    html = browser.page_source

    # print(html)

    doc = pq(html)

    #siblings,在兄弟元素中找('.el')的元素

    items = doc('#resultList .title').siblings('.el').items()

    #当获取数据时，有的字段有数据有的没有，把获取数据之前的页面保存，比对

    # with open('./html.html','w') as f:

    #     f.write(html)

    for item in items:

    # for row in rows:

        Job={}

        # Job['job_name']=item.find('a').eq(0).text(),

        # eq(0),想得到第一个标签内的内容

        Job['job_name']=item.find('.t1').eq(0).text()   

        Job['com_name']=item.find('.t2').text()

        Job['addr']=item.find('.t3').text() 

        try:

            Job['job_money']=item.find('.t4').text()

        except:

            Job['job_money']=None

        Job['job_time']=item.find('.t5').text()

        # time.sleep(0.1)

        # print(Job['job_name'])

        # print(Job['com_name'])

        coll.insert(Job)

        # print(Job)