01
抓取目标
我們要爬取的目标是「 簡書網 」。
打開簡書網的首頁，随手點選一篇文章進入到詳情頁面。
我們要爬取的資料有：作者、頭像、釋出時間、文章 ID 以及文章内容。
02
準備工作
在編寫爬蟲程式之前，我都是先對頁面進行簡單分析，然後指定爬取思路。
由于我們爬取簡書網所有的文章資料，是以考慮使用「 CrawlSpider 」來對整個網站進行爬取。
首先使用 Scrapy 建立一個項目和一個爬蟲
# 打開 CMD 或者終端到一個指定目錄
# 建立一個項目
scrapy startproject jianshu_spider
cd jianshu_spider
# 建立一個爬蟲
scrapy genspider -t crawl jianshu "jianshu.com"
爬取的資料準備存儲到 Mysql 資料庫中，是以需要提前建立好資料庫和表。
03
爬取思路
首先，我們我們檢查首頁頁面文章清單每一項的 href 屬性、文章詳情頁面的位址、詳情頁面推薦文章中的 href 屬性。
可以擷取出規律，每一篇文章的位址，即 URL 是由「.../p/文章id/... 」構成，其中文章 ID 是由小寫字母 a-z 或者 0-9 的 12 位數字構成，是以 Rule 構成如下：
/p/[0-9a-z]{12}
04
代碼實作
第一步是指定開始爬取的位址和爬取規則。
allowed_domains = ['jianshu.com']
start_urls = ['https://www.jianshu.com/']
rules = (
# 文章id是有12位小寫字母或者數字0-9構成
Rule(LinkExtractor(allow=r'.*/p/[0-9a-z]{12}.*'), callback='parse_detail', follow=True),
) 第二步是拿到下載下傳器下載下傳後的資料 Response，利用 Xpath 文法擷取有用的資料。這裡可以使用「 Scrapy shell url 」去測試資料是否擷取正确。
# 擷取需要的資料
title = response.xpath('//h1[@class="title"]/text()').get()
author = response.xpath('//div[@class="info"]/span/a/text()').get()
avatar = self.HTTPS + response.xpath('//div[@class="author"]/a/img/@src').get()
pub_time = response.xpath('//span[@class="publish-time"]/text()').get().replace("*", "")
current_url = response.url
real_url = current_url.split(r"?")[0]
article_id = real_url.split(r'/')[-1]
content = response.xpath('//div[@class="show-content"]').get() 然後建構 Item 模型用來儲存資料。
import scrapy
# 文章詳情Item
class ArticleItem(scrapy.Item):
title = scrapy.Field()
content = scrapy.Field()
# 文章id
article_id = scrapy.Field()
# 原始的url
origin_url = scrapy.Field()
# 作者
author = scrapy.Field()
# 頭像
avatar = scrapy.Field()
# 釋出時間
pubtime = scrapy.Field() 第三步是将擷取的資料通過 Pipline 儲存到資料庫中。
# 資料庫連接配接屬性
db_params = {
'host': '127.0.0.1',
'port': 3306,
'user': 'root',
'password': 'root',
'database': 'jianshu',
'charset': 'utf8'
}
# 資料庫【連接配接對象】
self.conn = pymysql.connect(**db_params)
# 建構遊标對象
self.cursor = self.conn.cursor()
# sql 插入語句
self._sql = """
insert into article(id,title,content,author,avatar,pubtime,article_id,origin_url)
values(null,%s,%s,%s,%s,%s,%s,%s)
"""
# 執行 sql 語句
self.cursor.execute(self._sql, (
item['title'], item['content'], item['author'], item['avatar'], item['pubtime'], item['article_id'],
item['origin_url']))
# 插入到資料庫中
self.conn.commit()
# 關閉遊标資源
self.cursor.close()
05
爬取結果
執行指令「 scrapy crawl jianshu」 運作爬蟲程式。