1.安装
安装scrapy_redis包,打开cmd工具,执行命令pip install scrapy_redis
准备好要部署的爬虫项目
准备好redis服务器还有跟程序相关的mysql数据库
打开redis 连接上服务器
2. 部署
修改爬虫项目的settings文件
- 调度url 去重组件要添加在settings文件中
scrapy-redis部署总结 - 还有个一个pipelines文件,里面的RedisPipeline类可以把爬虫的数据写入redis,更稳定安全,所以要在settings中启动
scrapy-redis部署总结 - 配置redis链接
scrapy-redis部署总结
- 修改spiders爬虫文件
- 首先我们要引入一个scrapy_redis.spider文件中的一个RedisSpider类,然后把spider爬虫文件原来继承的scrapy.Spider类改为引入的RedisSpider这个类
一般的步骤
1） 先把项目配置为分布式
2） 把项目拷贝到多台服务器中
3） 把所有爬虫项目都跑起来
4） 在主redis-cli中lpush你的网址即可
5） 效果：所有爬虫都开始运行，并且数据还都不一样