爬蟲-06-通用爬蟲與聚焦爬蟲

主要分兩類

我們的重點是 2

利用聚焦爬蟲完成自己的資源站點

鎖定目标

定期抄錄

工作流程

聚焦爬蟲的流程詳析

通用爬蟲流程

種子URL

爬取資料

存取資料

提取有效資訊

分詞，檢索，排名

》擴充，關于網站的排名

搜尋引擎優化規則_360百科

https://baike.so.com/doc/6229890-6443219.html

傳統搜尋引擎的局限

淘寶網的千人千面

爬蟲協定

https://www.taobao.com/robots.txt

爬蟲起家的公司