链家爬虫2019

环境：win10 +python3.6 +pycharm 2018

代码如下：

# coding=utf-8
import requests
from parsel import Selector
import pandas as pd
import time
from lxml import etree
import re
#############################################################
'''
爬取链家网海淀区的二手房信息
@time=2019-6-5
@author=yys
'''
###########################################################
# 进行网络请求的浏览器头部
headers = {
    'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/47.0.2526.106 BIDUBrowser/8.7 Safari/537.36'

}
# pages是不同页码的网址列表
pages = ['https://bj.lianjia.com/ershoufang/haidian/pg{}/'.format(x) for x in range(1,100)]
############################################################

#############################################################
lj = pd.DataFrame(columns=['地区', '小区', '总价','单价','房间数','面积','朝向','是否精装',"电梯",'楼层','年龄'])
count = 0
def get_page(url):
    # 这个函数是用来获取链家网海淀区二手房的信息
    wr = requests.get(url, headers=headers, stream=True)
    sel=etree.HTML(wr.text)
    # describ = sel.xpath('//li[@class="clear LOGCLICKDATA"]/div[@class="houseInfo"]')
    neighbor = sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="houseInfo"]/a/text()')#所在小区
    total=sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="houseInfo"]/text()')
    total2=sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="positionInfo"]/text()')
    district=sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="positionInfo"]/a/text()')
    price=sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="priceInfo"]/div[@class="totalPrice"]/span/text()')
    unit_price=sel.xpath('//li[@class="clear LOGCLICKDATA"]//div[@class="priceInfo"]/div[@class="unitPrice"]/span/text()')
    # total_str='+'.join(total)
    # room1=re.findall('\d室\d厅',total_str)
    # mianji=re.findall("\d*.\d*平米",total_str)
    # dianti=re.findall('.电梯',total_str)
    # print(total_str)
    # print(dianti)
    room=total[0::5]
    area=total[1::5] #面积
    orien=total[2::5] #朝向
    nice=total[3::5]#是否精装
    elevator=total[4::5]
    floor=total2[0::2]
    years=total2[1::2]
    pages_info = pd.DataFrame(list(zip(district,neighbor,price,unit_price,room,area,orien,nice,elevator,floor,years)), columns=['地区', '小区', '总价','单价','房间数','面积','朝向','是否精装',"电梯",'楼层','年龄'])
    return pages_info
for page in pages:
    a = get_page(page)
    count = count + 1
    print('the ' + str(count) + ' page is sucessful')
    time.sleep(5)
    lj_futian = pd.concat([lj, a], ignore_index=True)
# 将表格数据输出到excel文件
lj.to_excel('d:\\链家_海淀.xlsx')
           

存在的问题

由于网站本身有些内容放置的顺序有些混乱，导致最终生成的excel表部分行单元对不上列名。

可以使用正则表达式来细划分。

结果

下载地址

海淀_链家_爬虫数据.xlsx

个人总结

1.使用{}+format+列表推导完成爬虫网页列表的构造。

2.使用request+xpath可以完成大多数简单网页数据的爬取，对于格式混乱的数据可以使用正则表达式来进行精确爬取。