天天看點

Python3 Scrapy 安裝方法

轉自:https://blog.csdn.net/zjiang1994/article/details/52689144

寫在前面

最近在學習爬蟲,在熟悉了Python語言和BeautifulSoup4後打算下個爬蟲架構試試。 

沒想到啊,這坑太深了。。。

看了看相關介紹後選擇了Scrapy架構,然後興高采烈的打開了控制台,

pip install Scrapy           

複制

  • 1
Python3 Scrapy 安裝方法

坑出現了。。。。

運作報錯

error: Unable to find vcvarsall.bat           

複制

  • 1

開始上網查解決方法。。 

看了大多數方法,基本上的解決方法就是下載下傳版本對應的visual studio,但是也太大了。。。。。。而且網速看不下去啊。。。

最後花費了将近一天的時間,終于找到了解決方法。

使用wheel安裝。

這個網站裡邊是編譯好的各種庫的 

http://www.lfd.uci.edu/~gohlke/pythonlibs/#lxml

同時,推薦一篇我的Scrapy入門執行個體部落格:

scrapy爬蟲架構入門執行個體

希望可以幫到剛接觸python和scrapy的同學。

安裝方法

首先安裝wheel

pip install wheel           

複制

  • 1

安裝完成後驗證是否成功

wheel           

複制

  • 1

安裝成功是這樣 

Python3 Scrapy 安裝方法

然後去上邊的網站下載下傳Scrapy庫, 

進到網站=>搜尋’Scrapy’=>下載下傳

把下載下傳的.whl檔案放在一個容易尋找的位址(我放在了D:\) 

然後在控制台進入該位址 

在該位址下輸入

pip install [whl]           

複制

  • 1

注:[whl]表示你的.whl檔案,一定要全名,XXXX.whl

然後,并沒有結束。。。。。

安裝過程還是有可能失敗

可能會出現

Failed to build XXXX            

複制

  • 1

之類的提示一閃而過(比如說我提示的 twisted),最後安裝失敗還是提示

error: Unable to find vcvarsall.bat           

複制

  • 1

為什麼會這樣那,因為Scrapy架構基于Twisted

是以,要做的就是去網站下載下傳Twisted之類的安裝檔案,先把它們裝上,安裝方法和上邊的相同。

最後終于成功了。 

建個項目測試一下

scrapy startproject pyjy           

複制

  • 1

注:pyjy為項目名

成功了,撒花~~