天天看点

爬虫第一天:环境配置

工欲善其事,必先利其器

要想顺利开心快捷的爬啊爬,环境当然得到配置好啊,那接下来一步一步来吧:

一:下载anaconda,为什么下载anaconda呢,为什么不直接去官网下载python安装包下载呢,当然也是可以的,只是anaconda更加方便,因为它集成了很多爬虫,数据分析需要的第三方库,也集成了像pip这样的神器,所以安装它来的更简单

二:安装一个python IDE 这个就看个人喜好了,我用的是pycharm

三:安装MongoDB数据库和图形化工具Robomongo

四:安装redis数据库和图形化工具redis desktop

五:安装mysql和图形化工具mysql front

六:python爬虫常用库的安装

       urllib,   re,   requests,   selenium,   beautifulsoup4,   pyquery,   pymysql,   pymongo,   redis,   flask,   django,   jupyte