1.简介
python开发的一个快速，高层次的屏幕抓去和web抓取框架，用于抓取web站点并从网页中提取结构化的数据。
是一个框架，可以根据需要进行修改。
提供了多种类型爬虫的基类，如BaseSpider，sitemap爬虫等。
2.框架
3.Scrapy的运行流程
引擎从调度器中取出一个链接用于接下来的抓取
引擎把url封装成一个请求传给下载器
下载器把资源下载下来，并封装成应答包
爬虫解析response
解析出实体Item，则交给实体管道进行进一步的处理
解析出的是链接，则把url交给调度器等待抓取。
二：安装
1.第一步安装lxml
lxml是一个非常有用的python库，可以灵活高校的解析xml，与bs，requests相结合，是编写爬虫的标准姿势。
2.第二步安装zope.interface
python支持多继承，但是不支持接口，zope.interface是其三方的接口实现库，在twisted中有大量的使用
3.第三步安装twisted
twisted是python实现的基于事件驱动的网络引擎框架。
支持很多框架，包括UDP,TCP,TLS和其他应用层协议（http，smtp，nntm，irc，xmpp等）
4.第四步安装pyOpenSSL
生成网络安全需要的CA和证书
5.第五步pywin32
pywin32是一个python库，为python访问windows API的扩展，提供了齐全的windows常量，接口，线程以及com机制等
下载地址：
https://sourceforge.net/projects/pywin32/files/pywin32/
双击安装
6.安装Scrapy
scrapy不同简单的单线爬虫，采用scrapy框架写python会生成许多的文件，这一件类似java里的web框架，许多工作可以通过配置文件来生成。
pip install scrapy
三：生成项目
1.添加系统变量
使得scrapy.exe可以被访问到。
2.找到要生成项目的目录
3.从cmd中进入这个目录
4.在这里执行语句
scrapy startproject test2
5.如图
四：制作爬虫
1.完成爬虫的流程
新建项目
明确目标
制作爬虫
存储内容
2.新建项目的目录结构
3.解释文件的作用
scrapy.cfg：项目的配置文件
test2/：项目中的python模块，将会从这里引用代码
items.py：项目中items文件用来存放抓取内容容器的文件
pipelines.py：负责处理爬虫从网页中抽取的实体，持久化实体，验证实体的有效性，清除不需要的信息
settings.py：项目的设置文件
spiders：爬虫的目录
4.定义Item
是用来保存爬取到的数据的容器，
创建一个scrapy.Item类，并定义类型为scrapy.Field类属性来定义一个Item。
将爬取的内容与Field()定义的属性对应。
程序：
5.编写Spiders
创建继承了scrapy.Spider的子类，并定义以下三个属性：
name：用于区别spider
start_urls：包含了spider在启动时进行爬取的url列表
parse（）：是spider的一个方法，每个初始url完成下载后生成的response对象将会作为唯一的参数传递给该函数，该方法负责解析返回的数据，提取数据以及需要进一步处理的url的request对象。
程序：
6.修改settings.py
7.添加主函数运行
8.运行结果