Scrapy是一個為了爬取網站資料，提取結構性資料而編寫的應用架構。 其可以應用在資料挖掘，資訊處理或存儲曆史資料等一系列的程式中。
其最初是為了頁面抓取 (更确切來說, 網絡抓取 )所設計的， 也可以應用在擷取API所傳回的資料(例如 Amazon Associates Web Services ) 或者通用的網絡爬蟲。Scrapy用途廣泛，可以用于資料挖掘、監測和自動化測試。
Scrapy 使用了 Twisted異步網絡庫來處理網絡通訊。整體架構大緻如下
- 引擎(Scrapy)
用來處理整個系統的資料流處理, 觸發事務(架構核心) - 排程器(Scheduler)
用來接受引擎發過來的請求, 壓入隊列中, 并在引擎再次請求的時候傳回. 可以想像成一個URL（抓取網頁的網址或者說是連結）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重複的網址 - 下載下傳器(Downloader)
用于下載下傳網頁内容, 并将網頁内容傳回給蜘蛛(Scrapy下載下傳器是建立在twisted這個高效的異步模型上的) - 爬蟲(Spiders)
爬蟲是主要幹活的, 用于從特定的網頁中提取自己需要的資訊, 即所謂的實體(Item)。使用者也可以從中提取對外連結接,讓Scrapy繼續抓取下一個頁面 - 項目管道(Pipeline)
負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證明體的有效性、清除不需要的資訊。當頁面被爬蟲解析後，将被發送到項目管道，并經過幾個特定的次序處理資料。 - 下載下傳器中間件(Downloader Middlewares)
位于Scrapy引擎和下載下傳器之間的架構，主要是處理Scrapy引擎與下載下傳器之間的請求及響應。 - 爬蟲中間件(Spider Middlewares)
介于Scrapy引擎和爬蟲之間的架構，主要工作是處理蜘蛛的響應輸入和請求輸出。 - 排程中間件(Scheduler Middewares)
介于Scrapy引擎和排程之間的中間件，從Scrapy引擎發送到排程的請求和響應。
Scrapy運作流程大概如下：
- 引擎從排程器中取出一個連結(URL)用于接下來的抓取
- 引擎把URL封裝成一個請求(Request)傳給下載下傳器
- 下載下傳器把資源下載下傳下來，并封裝成應答包(Response)
- 爬蟲解析Response
- 解析出實體（Item）,則交給實體管道進行進一步的處理
- 解析出的是連結（URL）,則把URL交給排程器等待抓取
建立Scrapy架構項目
Scrapy架構項目是有python安裝目錄裡的Scripts檔案夾裡scrapy.exe檔案建立的，是以python安裝目錄下的Scripts檔案夾要配置到系統環境變量裡，才能運作指令生成項目
建立項目
首先運作cmd終端，然後cd 進入要建立項目的目錄，如：cd H:py14
進入要建立項目的目錄後執行指令 scrapy startproject 項目名稱
scrapy startproject pach1 項目建立成功
項目說明
目錄結構如下：
├── firstCrawler
│ ├── __init__.py
│ ├── items.py
│ ├── middlewares.py
│ ├── pipelines.py
│ ├── settings.py
│ └── spiders
│ └── __init__.py
└── scrapy.cfg
-
scrapy.cfg
-
tems.py
-
pipelines.py
-
settings.py
- spiders：實作自定義爬蟲的目錄
- middlewares.py：Spider中間件是在引擎及Spider之間的特定鈎子(specific hook)，處理spider的輸入(response)和輸出(items及requests)。 其提供了一個簡便的機制，通過插入自定義代碼來擴充Scrapy功能。
建立第一個爬蟲
建立爬蟲檔案在spiders檔案夾裡建立
1、建立一個類必須繼承scrapy.Spider類，類名稱自定義
類裡的屬性和方法：
name屬性，設定爬蟲名稱
allowed_domains屬性，設定爬取的域名，不帶http
start_urls屬性，設定爬取的URL，帶http
parse()方法，爬取頁面後的回調方法，response參數是一個對象，封裝了所有的爬取資訊
response對象的方法和屬性
response.url擷取抓取的rul
response.body擷取網頁内容位元組類型
response.body_as_unicode()擷取網站内容字元串類型
# -*- coding: utf-8 -*-
import scrapy
class AdcSpider(scrapy.Spider):
name = 'adc' #設定爬蟲名稱
allowed_domains = ['www.shaimn.com']
start_urls = ['http://www.shaimn.com/xinggan/']
def parse(self, response):
current_url = response.url #擷取抓取的rul
body = response.body #擷取網頁内容位元組類型
unicode_body = response.body_as_unicode() #擷取網站内容字元串類型
print(unicode_body) 爬蟲寫好後執行爬蟲，cd到爬蟲目錄裡執行scrapy crawl adc --nolog指令，說明：scrapy crawl adc(adc表示爬蟲名稱) --nolog(--nolog表示不顯示日志)**
也可以在PyCharm執行指令
【轉載自：
https://www.jianshu.com/u/3fe4aab60ac4】