天天看點

【python爬蟲】第9章——移動端資料爬取

前言

随着移動市場的火熱,各大平台都陸陸續續的推出了自己的移動端APP來拉攏吸引和便捷其廣大的使用者。那麼在移動端的平台當時勢必會出現大量有價值的資訊和資料,那這些資料我們是否可以去享用一下呢?那麼接下來就進入我們的移動端APP資料的爬蟲中來吧。

今日概要

fiddler簡介

手機APP抓包設定

fiddler設定

安裝證書下載下傳

安全證書安裝

區域網路設定

fiddler手機抓包測試

今日詳情

1 什麼是Fiddler?
Fiddler是位于用戶端和伺服器端的HTTP代理,也是目前最常用的http抓包工具之一 。 它能夠記錄用戶端和伺服器之間的所有 HTTP請求,可以針對特定的HTTP請求,分析請求資料、設定斷點、調試web應用、修改請求的資料,甚至可以修改伺服器傳回的資料,功能非常強大,是web調試的利器。

既然是代理,也就是說:用戶端的所有請求都要先經過Fiddler,然後轉發到相應的伺服器,反之,伺服器端的所有響應,也都會先經過Fiddler然後發送到用戶端,基于這個原因,Fiddler支援所有可以設定http代理為127.0.0.1:8888的浏覽器和應用程式。使用了Fiddler之後,web用戶端和伺服器的請求如下所示:      
【python爬蟲】第9章——移動端資料爬取

利用可以設定代理的這個特點,我們就可以對手機APP進行抓包了。怎麼設定?不急不急,讓我先把Fiddler安裝上吧!

Fiddler下載下傳位址:https://www.telerik.com/fiddler      

傻瓜式安裝,一鍵到底。Fiddler軟體界面如圖所示:

2 手機APP抓包設定

a. Fiddler設定

打開Fiddler軟體,打開工具的設定。(Fiddler軟體菜單欄:Tools->Options)      

在HTTPS中設定如下:

【python爬蟲】第9章——移動端資料爬取

在Connections中設定如下,這裡使用預設8888端口,當然也可以自己更改,但是注意不要與已經使用的端口沖突:

Allow remote computers to connect:允許别的機器把請求發送到fiddler上來      
【python爬蟲】第9章——移動端資料爬取

b. 安全證書下載下傳

在電腦浏覽器中輸入位址:http://localhost:8888/,點選FiddlerRoot certificate,下載下傳安全證書:      
【python爬蟲】第9章——移動端資料爬取

c. 安全證書安裝

證書是需要在手機上進行安裝的,這樣在電腦Fiddler軟體抓包的時候,手機使用電腦的網卡上網才不會報錯。

Android手機安裝:把證書放入手機的内置或外置存儲卡上,然後通過手機的"系統安全-》從儲存設備安裝"菜單安裝證書。      

然後找到拷貝的FiddlerRoot.cer進行安裝即可。安裝好之後,可以在信任的憑證中找到我們已經安裝好的安全證書。

【python爬蟲】第9章——移動端資料爬取

蘋果手機安裝:

保證手機網絡和fiddler所在機器網絡是同一個網段下的

 在safari中通路http://fiddle機器ip:fiddler端口,進行證書下載下傳。然後進行安裝證書操作。

在手機中的設定-》通用-》關于本機-》證書信任設定-》開啟fiddler證書信任      

d. 區域網路設定

想要使用Fiddler進行手機抓包,首先要確定手機和電腦的網絡在一個内網中,可以使用讓電腦和手機都連接配接同一個路由器。當然,也可以讓電腦開放WIFI熱點,手機連入。這裡,我使用的方法是,讓手機和電腦同時連入一個路由器中。最後,讓手機使用電腦的代理IP進行上網。