Scrapy框架教程:POST请求实现案例

2023-06-0917:38:54后端程序开发Comments1,034 views字数 855阅读模式

一、创建一个Scrapy项目fanyi,并进入该项目创建,fanyipc爬虫文件文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

scrapy startproject fanyi
cd fanyi
scrapy genspider example example.com

二、修改配置文件settings,关闭君子协议,只看报错信息,自定义UA头文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

ROBOTSTXT_OBEY = False
LOG_LEVEL = 'ERROR'
USER_AGENT = "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/111.0.0.0 Safari/537.36"

三、分析目标网址,用的POST请求文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

Scrapy框架教程:POST请求实现案例

四、重写父类方法实现POST请求文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

start_urls = ["https://fanyi.baidu.com/sug"]


    def start_requests(self):
        POST数据={'kw':'cat'}
        for url in self.start_urls:
            yield scrapy.FormRequest(url=url,callback=self.parse,formdata=POST数据)


    def parse(self, response):
        结果=response.json()
        #print(结果)

五、运行结果文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

{'errno': 0, 'data': [{'k': 'cat', 'v': 'n. 猫; 猫科动物; 狠毒的女人; 爵士乐爱好者 vt. 把(锚)吊放在锚架上; 〈俚〉寻欢,宿娼'}, {'k': 'CAT', 'v': 'abbr. Carburetor Air 
Temperature 汽化器空气温度'}, {'k': 'Cat', 'v': '[人名] 卡特'}, {'k': 'CaT', 'v': 'abbr. calcium tartrate tetrahydrate 酒石酸钙四水合物'}, {'k': 'cata', 'v': '[机] 渺位;
 依照'}]}

六、如果首页地址是get请求,解析内容用到了POST请求,可以在psrse里面再进行post操作文章源自菜鸟学院-https://www.cainiaoxueyuan.com/bc/46386.html

  • 本站内容整理自互联网,仅提供信息存储空间服务,以方便学习之用。如对文章、图片、字体等版权有疑问,请在下方留言,管理员看到后,将第一时间进行处理。
  • 转载请务必保留本文链接:https://www.cainiaoxueyuan.com/bc/46386.html

Comment

匿名网友 填写信息

:?: :razz: :sad: :evil: :!: :smile: :oops: :grin: :eek: :shock: :???: :cool: :lol: :mad: :twisted: :roll: :wink: :idea: :arrow: :neutral: :cry: :mrgreen:

确定