scrapy通用爬虫及反爬技巧

一、通用爬虫文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

通用爬虫一般有以下通用特性:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

爬取大量(一般来说是无限)的网站而不是特定的一些网站。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

不会将整个网站都爬取完毕，因为这十分不实际(或者说是不可能)完成的。相反，其会限制爬取的时间及数量。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

在逻辑上十分简单(相较于具有很多提取规则的复杂的spider)，数据会在另外的阶段进行后处理(post-processed)文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

并行爬取大量网站以避免被某个网站的限制所限制爬取的速度(为表示尊重，每个站点爬取速度很慢但同时爬取很多站点)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

Scrapy默认设置是对特定爬虫做了优化，而不是通用爬虫。不过， 鉴于scrapy使用了异步架构，其对通用爬虫也十分适用。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

总结了一些将Scrapy作为通用爬虫所需要的技巧， 以及相应针对通用爬虫的Scrapy设定的一些建议。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

1.1 增加并发文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

并发是指同时处理的request的数量。其有全局限制和局部(每个网站)的限制。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

Scrapy并发增加的程度取决于您的爬虫能占用多少CPU。 一般开始可以设置为 100 。不过最好的方式是做一些测试，获得Scrapy进程占取CPU与并发数的关系。 为了优化性能，您应该选择一个能使CPU占用率在80%-90%的并发数。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

增加全局并发数:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

CONCURRENT_REQUESTS = 100

1.2 降低log级别文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

当进行通用爬取时，一般您所注意的仅仅是爬取的速率以及遇到的错误。 Scrapy使用 INFO log级别来报告这些信息。为了减少CPU使用率(及记录log存储的要求), 在进行通用爬取时应该使用 INFO log级别。 不过在开发的时候使用 DEBUG 应该还能接受。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

设置Log级别:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

LOG_LEVEL = 'INFO'

1.3 禁止cookies文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

除非您 真的 需要，否则请禁止cookies。在进行通用爬取时cookies并不需要， (搜索引擎则忽略cookies)。禁止cookies能减少CPU使用率及Scrapy爬虫在内存中记录的踪迹，提高性能。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

禁止cookies:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

COOKIES_ENABLED = False

1.4 禁止重试文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

对失败的HTTP请求进行重试会减慢爬取的效率，尤其是当站点响应很慢(甚至失败)时， 访问这样的站点会造成超时并重试多次。这是不必要的，同时也占用了爬虫爬取其他站点的能力。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

禁止重试:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

RETRY_ENABLED = False

1.5 减小下载超时文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

如果您对一个非常慢的连接进行爬取(一般对通用爬虫来说并不重要)， 减小下载超时能让卡住的连接能被快速的放弃并解放处理其他站点的能力。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

减小下载超时:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

DOWNLOAD_TIMEOUT = 15

1.6 禁止重定向文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

除非您对跟进重定向感兴趣，否则请考虑关闭重定向。 当进行通用爬取时，一般的做法是保存重定向的地址，并在之后的爬取进行解析。 这保证了每批爬取的request数目在一定的数量， 否则重定向循环可能会导致爬虫在某个站点耗费过多资源。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

关闭重定向:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

REDIRECT_ENABLED = False

scrapy反爬技巧文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

有些网站实现了特定的机制，以一定规则来避免被爬虫爬取。 与这些规则打交道并不容易，需要技巧，有时候也需要些特别的基础。 如果有疑问请考虑联系 商业支持。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

下面是些处理这些站点的建议(tips):文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

使用user-agent池，轮流或随机选择来作为user-agent。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

禁止cookies(参考 COOKIES_ENABLED)，有些站点会使用cookies来发现爬虫的轨迹。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

设置下载延迟(2或更高)。参考 DOWNLOAD_DELAY 设置。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

如果可行，使用 Google cache 来爬取数据，而不是直接访问站点。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

使用IP池。例如免费的 Tor项目 或付费服务(ProxyMesh)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

使用高度分布式的下载器(downloader)来绕过禁止(ban)，您就只需要专注分析处理页面。这样的例子有: Crawlera文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

自动限速扩展文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

该扩展能根据Scrapy服务器及您爬取的网站的负载自动限制爬取速度。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

设计目标文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

更友好的对待网站，而不使用默认的下载延迟0。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

自动调整scrapy来优化下载速度，使得用户不用调节下载延迟及并发请求数来找到优化的值。 用户只需指定允许的最大并发请求数，剩下的都交给扩展来完成。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

扩展是如何实现的文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

在Scrapy中，下载延迟是通过计算建立TCP连接到接收到HTTP包头(header)之间的时间来测量的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

注意，由于Scrapy可能在忙着处理spider的回调函数或者无法下载，因此在合作的多任务环境下准确测量这些延迟是十分苦难的。 不过，这些延迟仍然是对Scrapy(甚至是服务器)繁忙程度的合理测量，而这扩展就是以此为前提进行编写的。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

限速算法文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

算法根据以下规则调整下载延迟及并发数:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

spider永远以1个并发请求数及 AUTOTHROTTLESTARTDELAY 中指定的下载延迟启动。 当接收到响应时，下载延迟会调整到该响应延迟与之前下载延迟之间的平均值。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

AutoThrottle扩展尊重标准Scrapy设置中的并发数及延迟。这意味着其永远不会设置一个比 DOWNLOADDELAY 更低的下载延迟或者比CONCURRENTREQUESTSPERDOMAIN 更高的并发数 (或 CONCURRENTREQUESTSPER_IP ，取决于您使用哪一个)。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

自动限速扩展参数文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

下面是控制AutoThrottle扩展的设置:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46438.html

AUTOTHROTTLE_ENABLED 默认False
AUTOTHROTTLE_START_DELAY 默认5.0
AUTOTHROTTLE_MAX_DELAY 默认60
AUTOTHROTTLE_DEBUG 默认False
CONCURRENT_REQUESTS_PER_DOMAIN
CONCURRENT_REQUESTS_PER_IP
DOWNLOAD_DELAY