Scrapy 使用代理IP并将输出保存到 jsonline

2023-06-0917:55:11云计算与物联网Comments1,486 views字数 1209阅读模式
Scrapy 使用代理IP并将输出保存到 jsonline

1、使用 scrapy 中间件,您需要在 settings.py 中启用 HttpProxyMiddleware,例如:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

DOWNLOADER_MIDDLEWARES = {
    'scrapy.downloadermiddlewares.httpproxy.HttpProxyMiddleware': 1
}

2、使用爬虫加强版代理 IP 的用户名和密码认证方式,您需要在每个请求中设置 proxy 和 Proxy-Authorization 头,例如:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

request = scrapy.Request(url="https://www.baidu.com/s?wd=keyword")

# 亿牛云 爬虫代理加强版 认证信息
proxyHost = "www.16yun.cn"
proxyPort = "31111"

# 代理验证信息
proxyUser = "16YUN"
proxyPass = "16IP"

# [版本>=2.6.2](https://docs.scrapy.org/en/latest/news.html?highlight=2.6.2#scrapy-2-6-2-2022-07-25)无需添加验证头,会自动在请求头中设置Proxy-Authorization     
request.meta['proxy'] = "http://{0}:{1}@{2}:{3}".format(proxyUser,proxyPass,proxyHost,proxyPort)
yield request

3、采集百度关键词搜索,获取 URL,您需要在 parse 方法中解析响应内容,提取 URL,并生成新的请求或项目,例如:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

def parse(self, response):
    urls = response.xpath("//div[@class='result c-container ']/h3/a/@href").getall()
    for url in urls:
        yield scrapy.Request(url=url, callback=self.parse_url)

def parse_url(self, response):
    yield {
        'url': response.url
    }

4、在爬虫采集的过程中,有几种方法可以将 Scrapy 输出保存为 jsonline 格式。一种方法是使用命令行选项 -O,并提供文件名和扩展名,例如:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

scrapy crawl medscape_crawler -O medscape_links.jsonl

5、另一种方法是在您的 spider 或项目设置中使用 FEEDS 设置,例如:文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

FEEDS = {
    'medscape_links.jsonl': {
        'format': 'jsonlines',
        'encoding': 'utf8',
        'store_empty': False,
        'fields': None,
        'indent': 4,
        'item_export_kwargs': {
            'export_empty_fields': True,
        },
    },
}

 文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html

文章源自菜鸟学院-https://www.cainiaoxueyuan.com/yunda/46416.html
  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/yunda/46416.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定