什么是Scrapy
Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。
框架就是将平常写爬虫的request (异步调度和处理)、下载器(多线程的 Downloader)、解析器(selector)和 twisted(异步处理)封装到了一起，够成了框架。而且使用起来更加方便，爬取速度更快。
Scrapy框架的应用领域有很多，例如网络爬虫开发、数据挖掘、自动化测试等，其最初是为了页面抓取(网络抓取)所设计的，也可以应用在获取API所返回的数据或者通用的网络爬虫。官方网址是https://scrapy.org/
Scrapy的安装
Windows系统：
pip install scrapy
如果安装过程中出错
错误信息如下：
则需要安装Microsoft Visual C++14，如果报错不是Microsoft Visual C++14比如Microsoft Visual C++15则对应安装即可。
如果安装过程中过提示安装Twisted安装失败，则需要来到这个网址：https://www.lfd.uci.edu/~gohlke/pythonlibs/自行下载wheel文件，
可能需要下载的是：pyOpenSSL、Twisted、PyWin32，可以根据安装时，报错的提示信息有针对性的下载。
下载之后放到一个固定的目录中，进入下载的目录。执行 pip3 install xxxxxx.whl (注意xxxxxx代表的是你下载的wheel的名字)
然后再次执行：pip install scrapy
Linux和mac系统直接：pip3 install scrapy
scrapy工作流程
Scrapy工作流程的图：
在图中，Scrapy引擎是架构的核心部分，调度器、管道、下载器和Spiders等组件都通过引擎来调控。在Scrapy引擎和下载器中间通过中间件传递信息，在下载中间件中，可以插入自定义代码扩展Scrapy的功能，例如实现IP池的应用。引擎和Spiders之间也是通过爬虫中间件来传递信息，同样可以自定义扩展功能。
其中：
Scrapy引擎负责控制整个数据处理流程，处于整个Scrapy框架中心位置，协调调度器、管道、中间件、下载器、爬虫。
调度器负责存储等待爬取的网址，确定网址优先级，相当于一个队列存储，同时也会过滤一些重复的网址。
下载器实现对等待爬取的网页资源进行高速下载，该组件通过网络进行大量数据传输，下载对应的网页资源后将数据传递给Scrapy引擎，再由引擎传递给爬虫处理。
下载中间件用于处理下载器与Scrapy引擎之间的通信，自定义代码可以轻松扩展Scrapy框架的功能
Spiders是实现Scrapy框架爬虫的核心部分。每个爬虫负责一个或多个指定的网站。爬虫组件负责接收Scrapy引擎中的Response响应，接收到响应后分析处理，提取对应重要信息
爬虫中间件是处理爬虫组件和Scrapy引擎之间通信的组件，可以自定义代码扩展Scrapy功能
管道用于接收从爬虫组件中提取的管道，接收到后进行清洗、验证、存储等系列操作
因此其流程可以描述如下：
爬虫中起始的url构造成request对象-->爬虫中间件-->引擎-->调度器
调度器把request-->引擎-->下载中间件--->下载器
下载器发送请求，获取response响应---->下载中间件---->引擎--->爬虫中间件--->爬虫
爬虫提取url地址，组装成request对象---->爬虫中间件--->引擎--->调度器，重复步骤2
爬虫提取数据--->引擎--->管道处理和保存数据
每部分的具体作用
scrapy常用命令
scrapy后面可以跟不同的命令，可以使用scrapy --help进行查看，Scrapy框架中命令分为全局命令和项目命令，全局命令不需要进入Scrapy项目即可在全局中直接运行，项目命令必须在Scrapy项目中才可以运行。
其中：
全局命令：
fetch命令是用来检查spider下载页面的方式
runspider命令通过Scrapy中的runspider命令可以直接运行一个爬虫文件
settings命令是用来获取Scrapy的配置信息。
shell命令可以启动Scrapy的交互终端
version命令用于查看Scrapy的版本信息
项目命令：
Scarpy的项目命令主要有bench、check、crawl、edit、genspider、list、parse。Scrapy全局命令可以在项目内外使用，而项目命令只能在Scrapy爬虫项目中使用。
bench命令可以测试本地硬件的性能。
genspider命令可以创建Scrapy爬虫文件，这是一种快速创建爬虫文件的方法
check命令可以实现对爬虫文件的测试
crawl命令可以启动某个爬虫
list命令可以列出当前可使用的爬虫文件
parse命令可以获取指定的URL网址，并使用对应的爬虫文件分析处理
scrapy开发步骤
创建项目:
scrapy startproject 爬虫项目名字
生成一个爬虫:
scrapy genspider <爬虫名字> <允许爬取的域名>
提取数据:
根据网站结构在spider中实现数据采集相关内容
保存数据:
使用pipeline进行数据后续处理和保存
创建项目
使用Scrapy创建一个爬虫项目，首先需要进入存储爬虫项目的文件夹，例如在“D:\python_spider”目录中创建爬虫项目，如图所示。
当然如果你是Linux或者mac系统也需要进入存储爬虫项目的文件夹，然后新建项目
创建之后的爬虫项目myproject目录结构如下：
项目名字/
scrapy.cfg：
项目名字/
__init__.py
items.py
pipelines.py
settings.py
spiders/
__init__.py
scrapy.cfg 项目的主配置信息。(真正爬虫相关的配置信息在settings.py文件中)
items.py 设置数据存储模板，用于结构化数据，如：Django的Model
pipelines 数据持久化处理
settings.py 配置文件，如：递归的层数、并发数，延迟下载等
spiders 爬虫目录，如：创建文件，编写爬虫解析规则
生成一个爬虫spider
进入刚才创建的爬虫项目myproject目录
然后执行： scrapy genspider 应用名称 爬取网页的起始url (见下图的3部分)
编写爬虫
在生成一个爬虫执行完毕后，会在项目的spiders中生成一个应用名的py爬虫文件
打开文件进行代码编写，大家看到的是默认的格式，可以在parse方法中完善爬虫代码
保存数据
数据的保存需要使用管道pipline，在pipelines.py文件中定义对数据的操作
定义一个管道类
重写管道类的process_item方法
process_item方法处理完item之后必须返回给引擎
然后在settings.py配置启用管道
ITEM_PIPELINES = {
'myproject.pipelines.MyprojectPipeline': 400,
}
配置项中键为使用的管道类，管道类使用.进行分割，第一个为项目目录，第二个为文件，第三个为定义的管道类。
配置项中值为管道的使用顺序，设置的数值约小越优先执行，该值一般设置为1000以内。
运行scrapy
命令：在项目目录下执行scrapy crawl <爬虫名字>
示例：scrapy crawl qiubai
当然本次只是给大家描述了一下爬虫中使用scrapy的基本步骤，20天学会爬虫后面会接连介绍scrapy的使用，敬请期待哦!
京公网安备 11010802030320号