Python爬蟲入門教程 25-100 知乎文章圖檔爬取器之一

1. 知乎文章圖檔爬取器之一寫在前面

今天開始嘗試爬取一下知乎，看一下這個網站都有什麼好玩的内容可以爬取到，可能斷斷續續會寫幾篇文章，今天首先爬取最簡單的，單一文章的所有回答，爬取這個沒有什麼難度。

找到我們要爬取的頁面，我随便選了一個

https://www.zhihu.com/question/292393947

1084

個回答，資料量可以說非常小了，就爬取它吧。

2. 知乎文章圖檔爬取器之一選取操作庫和爬取位址

爬取使用

requests

存儲使用 mongodb 就可以了

爬取位址經過分析之後，找到了一個可以傳回json的資料接口

提取連結，看一下各參數的意思，友善我們程式模拟

https://www.zhihu.com/api/v4/questions/292393947/answers?include=data%5B%2A%5D.is_normal%2Cadmin_closed_comment%2Creward_info%2Cis_collapsed%2Cannotation_action%2Cannotation_detail%2Ccollapse_reason%2Cis_sticky%2Ccollapsed_by%2Csuggest_edit%2Ccomment_count%2Ccan_comment%2Ccontent%2Ceditable_content%2Cvoteup_count%2Creshipment_settings%2Ccomment_permission%2Ccreated_time%2Cupdated_time%2Creview_info%2Crelevant_info%2Cquestion%2Cexcerpt%2Crelationship.is_authorized%2Cis_author%2Cvoting%2Cis_thanked%2Cis_nothelp%3Bdata%5B%2A%5D.mark_infos%5B%2A%5D.url%3Bdata%5B%2A%5D.author.follower_count%2Cbadge%5B%2A%5D.topics&limit=5&offset=10&sort_by=default           

上面的連接配接進行了URL編碼，去找個解碼工具解析一下，程式設計下面的URL就比較好解釋了，

answers

後面跟了一堆的參數，應該是傳回的關鍵字，找到

limit

每頁顯示的資料量，

offset

偏移量，我們下拉滾動條，發現這個在不斷的疊加+5，

sort_by

就是排序。

https://www.zhihu.com/api/v4/questions/292393947/answers?include=data[*].is_normal,admin_closed_comment,reward_info,is_collapsed,annotation_action,annotation_detail,collapse_reason,is_sticky,collapsed_by,suggest_edit,comment_count,can_comment,content,editable_content,voteup_count,reshipment_settings,comment_permission,created_time,updated_time,review_info,relevant_info,question,excerpt,relationship.is_authorized,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset=10&sort_by=default           

做好上面的工作，接下來就是爬取了，我簡化了一下爬取的位址，隻保留了一些關鍵的資訊

https://www.zhihu.com/api/v4/questions/292393947/answers?include=comment_count,content,voteup_count,reshipment_settings,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset=0&sort_by=default
           

3. 知乎文章圖檔爬取器之一編寫代碼

分析完畢之後，發現代碼非常簡單了

import requests
from fake_useragent import UserAgent

############## 資料存儲
import pymongo
import time
DATABASE_IP = '127.0.0.1'
DATABASE_PORT = 27017
DATABASE_NAME = 'sun'
client = pymongo.MongoClient(DATABASE_IP,DATABASE_PORT)
db = client.sun
db.authenticate("dba", "dba")
collection = db.zhihuone  # 準備插入資料

##################################

class ZhihuOne(object):

    def __init__(self,totle):

        self._offset = 0
        self._totle = totle
        #self._ua = UserAgent()


    def run(self):

        print("正在抓取 {} 資料".format(self._offset))
        headers = {
            "upgrade-insecure-requests":"1",
            "user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
        }
        with requests.Session() as s:
            try:
                with s.get("https://www.zhihu.com/api/v4/questions/292393947/answers?include=comment_count,content,voteup_count,reshipment_settings,is_author,voting,is_thanked,is_nothelp;data[*].mark_infos[*].url;data[*].author.follower_count,badge[*].topics&limit=5&offset={}&sort_by=default".format(self._offset),headers=headers,timeout=3) as rep:
                    data =  rep.json()
                    if data:
                        collection.insert_many(data["data"])
            except Exception as e:
                print(e.args)

            finally:
             
                if self._offset <= self._totle:
                    self._offset  = self._offset + 5 # 每次+5
                    print("防止被辦，休息3s")
                    time.sleep(3)
                    self.run()
                else:
                    print("所有資料擷取完畢")




if __name__ == '__main__':
    # 偏移量是0,5,10   i=1  (i-1)*5
    zhi = ZhihuOne(1084)  
    zhi.run()
           

上面主程式入口中，我寫了個

1084

，這個偷懶，就寫死了，資料當然也可以通過爬取擷取，沒有任何問題

4. 知乎文章圖檔爬取器之一寫在後面

本篇文章是知乎文章爬取器之一，接下來完善的功能

1. 爬取位址使用者可以輸入
2. 自動答案總數
3. 文章中圖檔自動下載下傳
4. 等功能

更多内容，歡迎關注

https://dwz.cn/r4lCXEuL