基于BeautifulSoup的58同城的南山区租房信息爬取

# -*- coding: utf-8 -*-

import requests 

import re

from bs4 import BeautifulSoup #导入bs4中的BeautifulSoup

import pymysql

db = pymysql.connect(host='localhost',

                             user='root',

                             password='mysql123',

                             db='58tc',

                             charset='utf8mb4',

                             cursorclass=pymysql.cursors.DictCursor)

# cursor.execute("DROP TABLE IF EXISTS employee")     创建mysql的table,因为我早创建好了，这段注释掉了
# sql1 = """CREATE TABLE employee(
#         AREA VARCHAR(20) ,
#          SPACE VARCHAR(20),
#          TIME VARCHAR(20),
#          PRINCE VARCHAR(20),
#          HREF VARCHAR(300))"""
# cursor.execute(sql1)      
   

# 使用cursor()方法获取操作游标

cursor = db.cursor()

sql = "INSERT INTO EX(`AREA`,`SPACE`,`TIME`,`PRINCE`,`HREF`) VALUES (%s,%s,%s,%s,%s)"       

def urls(url):   #定义一个入口，return解析过的网址源码

    res = requests.get(url) 

    res.encoding='utf-8'

    soup=BeautifulSoup(res.text,'html.parser')

    return soup

url=['http://sz.58.com/nanshan/zufang/0/?minprice=0_1600&PGTID=0d300008-0071-3991-2740-1076d93269e7&ClickID=2']

for x in range(2,13):          #因为58同城的页面网址是由JS计算而得的，总结规律发现是一下u中的'pn?'中‘？’为页码

    u='http://sz.58.com/nanshan/zufang/0/pn'+str(x)+'/?minprice=0_1600'

    url.append(u)

for y,m in zip(url,range(13)):   #y就是所有url，urls(url)就能解析所有的url

    soup=urls(y)

    for info,n in zip(soup.select('li'),range(35)):

        space=info.select('.des .room')[0].text

        c=info.select('.listliright .sendTime')[0].text.replace("          ",'')

        a=info.select('.listliright .money')[0].text

        SPACE = re.findall('.室.厅.卫',space)           #由于58得到的信息中又很多空格，而且无法用strip(）去除，这里使用了repalace，加上re

        AREA = re.findall('..㎡',space)                #两种方法结合使用，去除了空格，得到了一个List

        TIME = re.findall('\r\n(....)',c)

        PRINCE = re.findall('\n(.......)',a)

        HREF1 = info.select('.des a')[0]['href']

        HREF2 = HREF1+'?from='+str(m)+'-list-'+str(n)

        HREF = [HREF2]

        # print(AREA, SPACE, TIME, PRINCE, HREF)

        if(TIME == []):                                   #爬取的TIME和SPACE中有空值，此处用IF简单处理

            TIME = ['NULL']

        if (SPACE == []):

            SPACE = ['NULL']

        cursor.execute(sql, (AREA, SPACE, TIME, PRINCE, HREF))   #这里逗号前面要加空格，不然无法导入MySQL

        db.commit()

db.close()