我們都知道這個資料爬蟲的概念，也隻是這個是做什麼的，什麼原理，但是奇怪的是我們，隻要自己去寫内容的時候，便不知道如何去處理了。這是為什麼呢？于是小編去咨詢了好幾個有問題的小夥伴，他們隻會開頭，在寫到中間的時候，便不知道順序了，是以，好幾次都需要對照着别人的内容，去查找填寫，下面小編給大家整理整個流程，供大家參考哈~
爬蟲基本流程
1、發起請求
通過url向伺服器發送requests請求，請求可以包含額外的header資訊。
2、擷取響應内容
如果伺服器正常響應，那麼将受到一個response，response即為我們所請求的網頁内容，可能包含html\json\二進制資料(圖檔、視訊)等。
3、解析内容
如果是html代碼則可以使用網頁解析器進行解析；如果是json資料則可以轉換成json對象進行解析；如果是二進制資料則可以儲存到檔案進行進一步的處理。
4、儲存資料
可以儲存到本地檔案，也可以儲存到資料庫(mysql\redis\mongodb等)。
5、requests請求
當我們通過浏覽器向伺服器發送requests請求時，這個request包含什麼内容？可以通過chrome浏覽器的開發人員工具(F12)檢視。
6、請求方式
最常用的請求方式包括get請求和post請求。
7、uri統一資源定位符
一個網址、一個視訊、一個圖檔都可以用uri去定義
8、requests headers
請求頭，包括這次請求的類型，cookie資訊以及浏覽器類型等。
請求頭在我們進行網頁抓取的時候，伺服器會通過解析請求頭來進行資訊的稽核，判斷請求是否為合法請求。是以當我們通過程式僞裝浏覽器進行請求的時候可以設定請求頭的資訊。
9、請求體
post請求會把使用者資訊包裝在form-data裡面進行送出，是以相比于get請求，post請求的Headers标簽的内容會多出Form Data這個資訊包。
10、response
響應狀态：Headers中的General可以看到status code，使用數字代碼表示對于狀态，200表示成功，301跳轉，404找不到網頁，502伺服器錯誤等。
11、響應頭
包括内容的類型，cookie資訊等。
12、響應體
請求的目的就是為了得到響應體，包括html代碼，json及二進制資料等。
13、requests子產品
安裝使用pip install requests即可。
好啦，這就是如果你再變成爬取資料的時候整個代碼内容了哦~大家可以制作個便簽，在初次寫爬取的時候，看下過程，這樣可以增加下印象哦~