Scrapy中间件采集HTTPS网站失败的原因

2023-06-0917:42:53后端程序开发Comments888 views字数 2377阅读模式

Scrapy 是一个基于 Python 的网络抓取框架,可以帮助开发人员从网站中快速有效地提取数据。Scrapy 的一个显著优势是可以通过中间件来定制和优化抓取过程。中间件是一种插件,可以在请求和响应之间执行特定的功能,例如更换用户代理、管理 cookie 和处理重定向。Scrapy 中间件还可以让用户设置代理 IP,这对于从有反抓取措施的网站抓取大量数据非常有用。使用代理 IP 可以隐藏用户的真实身份,避免被网站封禁。总之,Scrapy 中间件提供了一种灵活且可定制的方式来改善网络抓取过程。 要使用代理 IP,可以编写一个中间件组件,在请求对象中设置代理和认证信息,这样Scrapy 就会使用代理和认证信息来访问网站。在项目中新建middlewares.py文件(./项目名/middlewares.py),下面是相应的代码:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46391.html

import base64            
import sys
import random

PY3 = sys.version_info[0] >= 3

def base64ify(bytes_or_str):
    """
    将输入的字符串或字节数组使用 base64 进行编码,并返回编码后的结果。
    如果输入为字符串,则先将其转换为字节数组。
    """
    if PY3 and isinstance(bytes_or_str, str):
        input_bytes = bytes_or_str.encode('utf8')
    else:
        input_bytes = bytes_or_str

    output_bytes = base64.urlsafe_b64encode(input_bytes)
    if PY3:
        return output_bytes.decode('ascii')
    else:
        return output_bytes

class ProxyMiddleware(object):
    """
    scrapy 的中间件,用于为每个请求添加代理。
    """
    def process_request(self, request, spider):
        #亿牛云爬虫加强版 代理服务器地址和端口号
        proxy_host = "www.16yun.cn"
        proxy_port = "31111"

        #亿牛云爬虫加强版 代理服务器验证信息
        proxy_username = "16YUN"
        proxy_password = "16IP"

        # 将请求的代理设置为指定的代理服务器
        request.meta['proxy'] = "http://{0}:{1}".format(proxy_host, proxy_port)
        # 为请求添加代理服务器验证头
        request.headers['Proxy-Authorization'] = 'Basic ' +  base64ify(proxy_username + ":" + proxy_password)

        # 每次请求后关闭 TCP 连接,以强制切换 IP
        request.headers['Connection'] = "Close"

上述代码可以直接部署使用,但是一部分用户在采集一段时间之后,发现https网站会出现目标服务器识别拒绝响应的情况,是什么原因造成的呢?问题就出现在当采集https网站的时候,标识'Proxy-Authorization'的认证信息会被传递至目标网站服务器,一旦目标服务器识别该信息即加入反爬处理,导致爬虫请求失效。 如何解决该问题呢?Scrapy版本从2.6.2开始,对该问题进行了修护,通过直接设置用户认证信息的方式,无需添加验证标识,会自动在请求头中设置'Proxy-Authorization'。这样即使在https的请求中,该认证信息也不会被传递至目标网站服务器从而避免被反爬,修改如下:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46391.html

import base64            
import sys
import random

PY3 = sys.version_info[0] >= 3

def base64ify(bytes_or_str):
    """
    将输入的字符串或字节数组使用 base64 进行编码,并返回编码后的结果。
    如果输入为字符串,则先将其转换为字节数组。
    """
    if PY3 and isinstance(bytes_or_str, str):
        input_bytes = bytes_or_str.encode('utf8')
    else:
        input_bytes = bytes_or_str

    output_bytes = base64.urlsafe_b64encode(input_bytes)
    if PY3:
        return output_bytes.decode('ascii')
    else:
        return output_bytes

class ProxyMiddleware(object):
    """
    scrapy 的中间件,用于为每个请求添加代理。
    """
    def process_request(self, request, spider):
        # 亿牛云爬虫加强版 代理服务器地址和端口号
        proxy_host = "www.16yun.cn"
        proxy_port = "31111"

        #亿牛云爬虫加强版 代理服务器验证信息
        proxy_username = "16YUN"
        proxy_password = "16IP"

        # [版本>=2.6.2]直接设置用户认证信息,无需添加验证头,会自动在请求头中设置Proxy-Authorization     
        request.meta['proxy'] = "http://{0}:{1}@{2}:{3}".format(proxyUser,proxyPass,proxyHost,proxyPort)

        # 每次请求后关闭 TCP 连接,以强制切换 IP
        request.headers['Connection'] = "Close"

通过上述修改,就能避免出现长期采集过程中被目标网站拒绝服务。 可以通过爬虫程序访问网站https://httpbin.org/headers进行测试,分析用户认证信息是否已经被处理。文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46391.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/bc/46391.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定