前言
今天給大家帶來的是拉勾網模拟登入，讓我們愉快地開始吧~
開發工具
** Python版本：**3.6.4
** 相關子產品：**
requests子產品；
以及一些python自帶的子產品。
環境搭建
安裝Python并添加到環境變量，pip安裝需要的相關子產品即可。
原理簡介
先去拉勾網注冊個賬号供測試使用，然後打開拉勾網登入頁面：
按F12打開Chrome浏覽器的開發者工具，并人工進行一次登入操作以便我們進行抓包。上面的操作結束之後，我們可以根據經驗，先全局搜尋一下login這個關鍵詞看看能不能直接找到我們需要的模拟登入接口。搜尋之後我們可以發現：
顯然，這就是我們想要找的模拟登入請求的接口：
請求該接口主要需要以下幾個參數：
'isValidate'
'username'
'password'
'request_form_verifyCode'
'submit'
'challenge'
其中，經測試後發現固定的參數為：
'isValidate': 'true'
'username': 登入使用者名明文
'request_form_verifyCode': ''
'submit': ''
request_form_verifyCode這個參數其實看着就像是用來放驗證碼的，但是拉勾網登入一般不需要輸入驗證碼，至少我試的時候一直沒有出現驗證碼，即使挂了代理換了電腦進行"異地登入"。是以這玩意就先不管啦，就當是個固定的常量吧。(源代碼裡其實加了有驗證碼情況的處理，但那個接口是谷歌上搜到的，而且是很多年前的，看樣子在那之後拉勾網應該又更新過好幾波了，是以可靠性存疑。)
言歸正傳，我們現在隻需要确定下面兩個參數了：
'password'
'challenge'
顯然password是密碼的意思，但是抓包的時候我們可以發現這個參數是經過加密處理的：
檢視一下initiator，看看密碼是咋算出來的：
顯然lgAjax那個js檔案看起來最相關，打開搜尋一下password這個關鍵詞，可以找到：
顯然就是對密碼明文做兩次md5加密，python代碼可以很輕松地實作這個加密，具體實作如下：
password = hashlib.md5(password.encode('utf-8')).hexdigest()
password = 'veenike' + password + 'veenike'
password = hashlib.md5(password.encode('utf-8')).hexdigest()
其中我們可以看到js檔案第6380行定義了：
F = "veenike"
是以我們就不需要通過打個斷點來确定這個參數了。
最後再來看challenge這個參數，我們嘗試全局搜尋一下這個challenge的值，比如值為：
bd89b07f5e4174c55a40557e109c9944
我們可以發現請求下面這個api接口就可以獲得該值：
顯然是一個關于極驗的api接口，不過不管他到底是啥，反正通過請求這個接口來獲得一個動态的challenge值就對了。而請求這個接口隻需要攜帶兩個固定的params：
pt: 0
gt: 66442f2f720bfc86799932d8ad2eb6c7
以及一個可以固定的data就ok啦：
(經過測試，發現雖然每次這個data會變，但你一直用同一個data也無所謂，即使過了好多個月仍然是有效可以使用的，目測應該是驗證碼圖檔相關的資料，不過既然同一個參數一直可以用，就不用管它了，分析下去也是浪費時間。)
封裝一下，寫個擷取challenge參數的函數，就是：
'''獲得challenge參數'''
def __getChallenge(self):
params = {'pt': '0', 'gt': '66442f2f720bfc86799932d8ad2eb6c7'}
data = 'nLYvtlnNYdUU68IXi84sdryl9ucQ2skF5u8LBLKXarWE41fPrzcL7yxmf2fYN2XDG1CyhqjVaXyi2Q)3oBs537a1dNTMv4w)U5b23FFwHcWMk(3gtb8VHP7U0ltLOistf5IoI5Bt11GMavQSlQJ(ga)AsFh0wTLAC9yNwbdBfZExS0TT)Ojw010QuOFPQg2sj2jvTEER1LRMLHmQKR0KjWN)4Cq2o2WUzhwPy7sFFxJuCxUO)5377hbgo5tdjTOFHwgkUqZrY1lkmsPmexujXXIgpN9p2aa5OQ)iMRZ(p0zfuAnBYAEBOy6H6vSopUiWGeNg(IO(ppE7X0b6Zpul)GqoNs3nuVCdlamTyui5qKhr8fyFSgzxiYWamJ5xR8PbvM9XQLEPZnxqvL(2P3nuRwa4S8qTzbMTwN3fw)KvEXUC2iatqz4G6ExOcfcUbQtRp7I1fEgjNb7Y8DEAZwmqyBG0qUVc3moKM8KZrWLZxR14Wp8AaG3WzJ)s4z9ouViog8nAt1PI6xlPHWKazr7bH1mfpKYmz8z2k)TKYeQtG9XAjjWtab(dr5AsPjQk1njJmgAI(48Bh7pLzZwJIW93YAtExbuCHGauxyEU28ZrKrqTjlgqu7KeurQU5hu(DhlIdMkmRqI(xguC8GjkYAlXF7aOjSvDwkxLUrLEE44CBe2gGNEFn6uax6HhvcUHIRMtIq0BB5Va4i)hnTK)WzcH2jetHMn4KVgFykF8NTKpWIkt(qIhiW)V1DNlfbmQi0ZmpUbLyOnLX42cjxwFh5Rnxrq(4WsPVm(Y8Oz0WtPaniTrAE6hFrdXS8PKyyefa49QcTFDJr9nrCgv5bu1dg6m5jVvypdt7mKGRpy3DILQ)TZ0LX6OHBwl)4375P0X9QEXf6Dl4r9)0gNi(xSfT0FYLNJVzMfk)cNulnhOzjpDisiUu5oZHtAK0ue9BiFa40lwSXDmAHxm5DcCmkaK1eINzFTplJt9Gk5KcDxqJPCYhNX1gvXmLBpKRcgqXZmIWRU6nYmkF76WLImaEhN)HK4RYPiGCvUt3(23sAmuJoFyHEsmTLbq13KRWY0tUbKhJjcPlOJUHduT1aSiWalhY0GTfhTiHfAu09zqENSHxVMAxtzi8FVSSZfPP82eIOyphvu(gukLDRaARVVAB4QFfgAxPSDWjRAT28IkMd1SiPug(fuJ9M61l2PzMiNxfZ6TXCtgUvmkOHgIybDYdPM6PB4ObXbV2wQf0q939Mkm8eVNsMvNPRZ0b1oJo0AnCz1IsxFn4JfCpB8M328wtH)7ve1jOBB4KulYQlXJuI3HUCJoUU5I0V)xAZhRI)nX0cepkfkCMwOjKmIihoLXA3y2Z8p3r04s9NZc8ngBkdacFpqYtnR19EmDeMoKgay8PGQ)(zZf1hHhWXuZWXTXdyR)KDvRdlx9wjG2FhV95QAH3aG85Dxufapym)b6kWJzKFw(qmsSpvUwUDhVQN2lfeUjR27eb2JZ0WP1GkQfG4LZ1CJYrBcfTx3zLD))kwiq3ScaVbT)B1GVfXqEP68zeLs9J)xwU7NgsI(QKtNw7WpymPl(g(FmDmxzrAMarwdqdoG2)KJRX5Qjz)ke8VnU8A09PVsdEwWKtkXjMUbvB)7Z3OFFOA(2EoKwthpb(mMyiUghjLD9(JXfqGm2k4RVF8vATKIo7YGKgadiI5vwzs0EOdpChJVk5E7c3MMCiuUHm9axWXP0i0)PmW(ZxoiT0ZJvnyCCn60nwyjKHpp5nXnN2SKZS8WBliyhdc8RUqVRnZeh0pH27jiPUGXYkRiAuoKDzl8S6l3NWm6xPPQw1MbldzTqmMTUsOuoR5CBzlU)TJl2gCSRgE1j(ChpXGSUfUvuTwaGBFfKWyQWsWdSbcC2tSEF2WP4lSdgEntDioWtRFeGUNg8tlnswrkfS6JhgE7BgfC36H(X1fytovT3vuTwilxGIt2xWuD9iY1Qxf9CtgSvo7vJTWmYneAQEyOUyqwcF5e6un(GCrMa7sizPHqf)gPseC2CeCQH9anwH7ZHiLiMRznWM(mH1CJEt52ez)IeiVTaDFpy1oYhURRwGoxMU2MkqIkw4LBR59MuKpBUdS6kZWcr(GwZ7VBLE3GAsX8ndtwoLAmeifdRQIonF7L1qozAKBU7lyJM2oqYXs(7gLJZyIWmTXVskE8iAIXp)yRtajPfnTintzNxGHEKCyVZQrr0XBEvt3UtksAv9(1V2N8EBn7Hkb8VKw5u6BdFnc0dMQqgum(zQaTb(URg4(O9EmTXcQSpLTm4IRX(Pm)44ZYezGD(8BZoukh7Mhko6a1LizgNMdmizc)F9YBHLXXdwec1wK8OAnQcZt7rbVfIl6Vd3HqoQdcId8B)NiAT4YWhJM39jEYbgBVzBhunEFV8DjTVSqudgf009qrFN(xrIo(EP5Wo6fYmTd7X4NMjElvOOm(2SV00ftg7d7(oUwkCHcEvQieQSZe(lmxeuIS0UMLAJ0nlyfFvrf0wr2oTKek1wu0)p17viMriD8ONEOqY9bqsKZBhtiGxgzN3pTYlj3vYDMSbylh02H5iFn)efqRTD8s8amfw645BqAGI65uTRAeGLTTq6tAZex(Cfo4r21MQxKgkREGGhoky)3cKWA97jirImA..4f0ae6c11327e4367bff580c5b909a03039cf44f566fad8680886dd52987bd4956933bdd2376e53c282edd8a5b79e38d2d078bc9a1eb186462d24ed2bc4cba3b2eda457b80a6dd8b1394e159b1a2d72d2f500a2b2703e372ade0e97fd741d75d6f401801e1022fd8772a463a15ce646ca0d00efe04500dfddd33f46e037bdb20'
res = requests.post(self.challenge_url, data=data, params=params)
res_json = res.json()
if res_json['status'] == 'success':
challenge = res_json.get('challenge')
else:
raise RuntimeError('Get the param named challenge error, error info is %s...' % res_json.get('error'))
return challenge
至此，我們獲得了所有請求最上面那個模拟登入接口所需攜帶的參數：
data = {
'isValidate': 'true',
'username': username,
'password': password,
'request_form_verifyCode': '',
'submit': '',
'challenge': self.__getChallenge()
}
試着請求一下：
self.login_url = 'https://passport.lagou.com/login/login.json'
self.session.post(self.login_url, data=data, headers=login_headers)
可以發現報錯：
估計是請求頭出了問題，仔細觀察一下請求這個接口的請求頭，可以發現請求頭裡有以下兩個參數很可疑：
X-Anit-Forge-Token
X-Anit-Forge-Code
在js檔案裡也可以搜到：
看來這兩個參數是必不可少的。而搜尋一下類似的關鍵詞，發現：
于是我們可以直接請求：
https://passport.lagou.com/login/login.html
然後在傳回的頁面裡用正規表達式提取就ok了：
def __getAnitForge(self):
res = self.session.get(self.home_url, headers=self.headers)
token = re.findall(r"window.X_Anti_Forge_Token = '(.*?)';", res.text)[0]
code = re.findall(r"window.X_Anti_Forge_Code = '(.*?)';", res.text)[0]
anit_forge = {
'X-Anit-Forge-Code': code,
'X-Anit-Forge-Token': token
}
return anit_forge
在請求登入接口的headers裡添加一下這兩個參數：
login_headers.update(anit_forge)
可以發現傳回的資料變成了：
文章到這裡就結束了，感謝你的觀看，關注我每天分享Python模拟登入系列，下篇文章分享抓取微網誌實作資料可視化