工欲善其事,必先利其器
要想顺利开心快捷的爬啊爬,环境当然得到配置好啊,那接下来一步一步来吧:
一:下载anaconda,为什么下载anaconda呢,为什么不直接去官网下载python安装包下载呢,当然也是可以的,只是anaconda更加方便,因为它集成了很多爬虫,数据分析需要的第三方库,也集成了像pip这样的神器,所以安装它来的更简单
二:安装一个python IDE 这个就看个人喜好了,我用的是pycharm
三:安装MongoDB数据库和图形化工具Robomongo
四:安装redis数据库和图形化工具redis desktop
五:安装mysql和图形化工具mysql front
六:python爬虫常用库的安装
urllib, re, requests, selenium, beautifulsoup4, pyquery, pymysql, pymongo, redis, flask, django, jupyte