Python網絡爬蟲實戰項目大全！

學習Python主要是爬取各種資料，進行資料分析，獲得各種有意思的東西。今天我們就來做些Python網絡爬蟲實戰項目，包含微信公号、豆瓣、知乎等網站爬蟲，大家也要自己動手練練看呀。

WechatSogou - 微信（http://lib.csdn.net/base/wechat）公衆号爬蟲。基于搜狗微信搜尋的微信公衆号爬蟲接口，通過搜狗搜尋擷取公衆号的openid，建立公衆号曆史消息請求URL，解析出曆史消息總量、曆史消息總頁數、單個曆史消息的XML，根據讀取到的所有的曆史消息XML内容，建立RSS檔案。

代碼： https://github.com/Chyroc/WechatSogou

DouBanSpider - 豆瓣讀書爬蟲。可以爬下豆瓣讀書标簽下的所有圖書，按評分排名依次存儲，存儲到Excel中，可友善大家篩選搜羅，比如篩選評價人數>1000的高分書籍；可依據不同的主題存儲到Excel不同的Sheet ，采用User Agent僞裝為浏覽器進行爬取，并加入随機延時來更好的模仿浏覽器行為，避免爬蟲被封。

代碼： https://github.com/lanbing510/DouBanSpider

zhihu_spider - 知乎爬蟲。此項目的功能是爬取知乎使用者資訊以及人際拓撲關系，爬蟲架構使用scrapy，資料存儲使用mongo

代碼： https://github.com/LiuRoy/zhihu_spider4

bilibili-user - Bilibili使用者爬蟲。總資料數：20119918，抓取字段：使用者id，昵稱，性别，頭像，等級，經驗值，粉絲數，生日，位址，注冊時間，簽名，等級與經驗值等。抓取之後生成B站使用者資料報告。

代碼： https://github.com/airingursb/bilibili-user

SinaSpider 新浪微網誌爬蟲。主要爬取新浪微網誌使用者的個人資訊、微網誌資訊、粉絲和關注。代碼擷取新浪微網誌Cookie進行登入，可通過多賬号登入來防止新浪的反扒。主要使用 scrapy 爬蟲架構。

代碼： https://github.com/LiuXingMing/SinaSpider

distribute_crawler - 小說下載下傳分布式爬蟲。使用scrapy,Redis, MongoDB,graphite實作的一個分布式網絡爬蟲,底層存儲mongodb叢集,分布式使用redis實作,爬蟲狀态顯示使用graphite實作，主要針對一個小說站點。

代碼： https://github.com/gnemoug/distribute_crawler

CnkiSpider - 中國知網爬蟲。設定檢索條件後，執行src/CnkiSpider.py抓取資料，抓取資料存儲在/data目錄下，每個資料檔案的第一行為字段名稱。

代碼： https://github.com/yanzhou/CnkiSpider

LianJiaSpider - 鍊家網爬蟲。爬取北京地區鍊家曆年二手房成交記錄。涵蓋鍊家爬蟲一文的全部代碼，包括鍊家模拟登入代碼。

代碼： https://github.com/lanbing510/LianJiaSpider

scrapy_jingdong - 京東爬蟲。基于scrapy的京東網站爬蟲，儲存格式為csv。

代碼： https://github.com/taizilongxu/scrapy_jingdong10

QQ-Groups-Spider - QQ 群爬蟲。批量抓取 QQ 群資訊，包括群名稱、群号、群人數、群主、群簡介等内容，最終生成 XLS(X) / CSV 結果檔案。

代碼： https://github.com/caspartse/QQ-Groups-Spider

QQSpider - QQ空間爬蟲，包括日志、說說、個人資訊等，一天可抓取 400 萬條資料。

代碼： https://github.com/LiuXingMing/QQSpider

tbcrawler - 淘寶和天貓的爬蟲,可以根據搜尋關鍵詞,物品id來抓去頁面的資訊，資料存儲在mongodb。

代碼： https://github.com/caspartse/QQ-Groups-Spider 推薦文章：

如何自學Python爬蟲技術（文末有福利）