天天看點

Python實作簡單爬蟲功能

在我們日常上網浏覽網頁的時候,經常會看到一些好看的圖檔,我們就希望把這些圖檔儲存下載下傳,或者使用者用來做桌面桌面,或者用來做設計的素材。

  我們最正常的做法就是通過滑鼠右鍵,選擇另存為。但有些圖檔滑鼠右鍵的時候并沒有另存為選項,還有辦法就通過就是通過截圖工具截取下來,但這樣就降低圖檔的清晰度。好吧~!其實你很厲害的,右鍵檢視頁面源代碼。

一,擷取整個頁面資料

首先我們可以先擷取要下載下傳圖檔的整個頁面資訊。

getjpg.py

Python實作簡單爬蟲功能
Python實作簡單爬蟲功能

  urllib 子產品提供了讀取web頁面資料的接口,我們可以像讀取本地檔案一樣讀取www和ftp上的資料。首先,我們定義了一個gethtml()函數:

  urllib.urlopen()方法用于打開一個url位址。

  read()方法用于讀取url上的資料,向gethtml()函數傳遞一個網址,并把整個頁面下載下傳下來。執行程式就會把整個網頁列印輸出。

如果你想學習python可以來這個群,首先是四七二,中間是三零九,最後是二六一,裡面有大量的學習資料可以下載下傳。

二,篩選頁面中想要的資料

  python 提供了非常強大的正規表達式,我們需要先要了解一點python 正規表達式的知識才行。

假如我們百度貼吧找到了幾張漂亮的桌面,通過到前段檢視工具。找到了圖檔的位址,如:src=”http://imgsrc.baidu.com/forum......jpg”pic_ext=”jpeg”

Python實作簡單爬蟲功能

修改代碼如下:

Python實作簡單爬蟲功能
Python實作簡單爬蟲功能

  我們又建立了getimg()函數,用于在擷取的整個頁面中篩選需要的圖檔連接配接。re子產品主要包含了正規表達式:

  re.compile() 可以把正規表達式編譯成一個正規表達式對象.

  re.findall() 方法讀取html 中包含 imgre(正規表達式)的資料。

    運作腳本将得到整個頁面中包含圖檔的url位址。

三,将頁面篩選的資料儲存到本地

把篩選的圖檔位址通過for循環周遊并儲存到本地,代碼如下:

Python實作簡單爬蟲功能
Python實作簡單爬蟲功能

  這裡的核心是用到了urllib.urlretrieve()方法,直接将遠端資料下載下傳到本地。

  通過一個for循環對擷取的圖檔連接配接進行周遊,為了使圖檔的檔案名看上去更規範,對其進行重命名,命名規則通過x變量加1。儲存的位置預設為程式的存放目錄。

程式運作完成,将在目錄下看到下載下傳到本地的檔案。

Python實作簡單爬蟲功能