分类： 物联网开发
feapder：一款能取代 Scrapy 的爬虫框架
1. 前言
众所周知，Python 最流行的爬虫框架是 Scrapy，它主要用于爬取网站结构性数据
今天推荐一款更加简单、轻量级，且功能强大的爬虫框架：feapder
2. 介……
Python爬虫开发选型——Scrapy
一、序言
随着国内大大小小企业数智化转型不断深入，最大程度地满足业务需求，最佳手段是靠数据决策、智能流程来完成。伴随着 GPT5 横空问世，已是企业长……
Cloudflare的Kafka之旅：万亿级消息处理实践
作者 | Matt Boyle, Andrea Medda
译者 | 明知山
策划 | 丁晓昀
在不到 6 年的时间里，Cloudflare 已经向 Kafka 中生成了超过 1 万亿条用于服务间通信的消息……
scrapy通用爬虫及反爬技巧
一、通用爬虫
通用爬虫一般有以下通用特性:
爬取大量(一般来说是无限)的网站而不是特定的一些网站。
不会将整个网站都爬取完毕，因为这十分不实际(或者说是不……
scrapy 爬虫中间件学习笔记：download middlerware用法
Scrapy中间件是一个处理Scrapy请求和响应的机制。中间件可以在请求或响应被Scrapy引擎处理之前或之后对其进行修改或操作，用于实现诸如缓存、代理、用户代理等……
图形化scrapy爬虫控制台Gerapy安装与配置教程
1.安装依赖
#pip install - r requirements.txt
scrapy
scrapyd
gerapy
django
jinja2
pywin32 # windows需要安装,linux不需要
2. 开启scrapyd
$sc……
Scrapy 使用代理IP并将输出保存到 jsonline
1、使用 scrapy 中间件，您需要在 settings.py 中启用 HttpProxyMiddleware，例如：
DOWNLOADER_MIDDLEWARES = {
'scrapy.downloadermiddlewares.http……
Scrapy框架结合selenium获取动态加载数据
一、新建一个Scrapy项目wangyi，进入该项目，创建wangyipc爬虫文件
scrapy startproject wangyi
cd wangyi
scrapy genspider wangyipc www.xxx.com
二、修……
Scrapy爬虫框架爬取图片示例
一、新建一个tupian爬虫项目
scrapy startproject tupian
二、进入到tupian项目，新建一个image爬虫文件
cd tupian
scrapy genspider image www.xxx.com
……
scrapy爬虫开发8步标准流程
Scrapy爬虫的标准流程一般包括以下几个步骤：
1、明确需求和目标网站的结构，确定需要爬取的数据以及爬取规则。
2、创建一个Scrapy项目，使用命令行工具创建一……
Scrapy爬虫框架安装与原理图解介绍
Scrapy爬虫框架也是爬虫项目常用的框架之一，Scrapy通过Python 编写，台式一个快速、高层次的屏幕抓取和网页抓取框架，Scrapy框架的用途广泛，可以用于数据挖……
Scrapy框架教程：深度爬取并持久化保存图片
一、新建一个Scrapy项目daimg
scrapy startproject daimg
二、进入该项目并创建爬虫文件daimgpc
cd daimg
scrapy genspider daimgpc www.xxx.com
三、修……
使用scrapy-redis爬取豆果美食分类及详情页数据
使用scrapy-redis抓取豆果美食分类，以及详情页数据
数据存储：MySQL
1. 创建项目
于终端输入指令：scrapy startproject "项目名"
使用命令cd进入创建项目的sp……
超大规模数据库集群保稳系列：美团数据库攻防演练建设实践
本文首先介绍了美团当前数据库运维现状、遇到的问题，以及为什么要建设数据库攻防演练平台；其次，分享当前数据库攻防演练平台的具体实践；第三部分会介绍数据……
RocketMQ 5.0 的 POP 消费模式，很香！
RocketMQ 消费模式有 PULL 模式和 PUSH 模式，不过本质上都是 PULL 模式，而在实际使用时，一般使用 PUSH 模式。
不过，RocketMQ 的 PUSH 模式有明显的不足，……
字节跳动开源 Golang 微服务 RPC 框架 Kitex
介绍同样是字节跳动开源的 Golang 微服务 RPC 框架 Kitex。
Kitex 简介
Kitex 字节跳动内部的 Golang 微服务 RPC 框架，具有高性能、强可扩展的特点，在字……
SylixOS——全球首个完整支持 Go 语言的大型实时操作系统
翼辉在最新发布的 SylixOS 3.0 版本中已完成对 Go 语言的适配，目前 SylixOS 是全球首个完整支持 Go 语言的大型实时操作系统，二者的结合将会给 SylixOS 用户……
分布式消息队列Kafka 内部机制原理探究
kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息，消费者从队列里取消息进行业务逻辑。一般在架构设计中起……
开源语言模型无法与 GPT-4 相提并论
开源语言模型的进步是无可争议的。但它们真的能与来自 OpenAI、谷歌和其他公司的训练有素的语言模型竞争吗?
诸如之前所报道的，使用Alpaca Formula训练的开……
PHP神器QueryList：轻松抓取百度资源
QueryList 是一款基于 PHP 的简单、灵活、强大的网络爬虫工具，可以用它来抓取各种网站上的数据。本文将围绕“QueryList 抓取百度资源”这一主题，分析 QueryLis……
PostgreSQL和Pgweb 如何简洁优雅地部署至Kubernetes集群中？
本文转自Rancher Labs
介绍PostgreSQL和Pgweb
PostgreSQL是一款以可靠性和性能为人所熟知的开源数据库。它在很多行业和应用程序中都有应用，尤其是web开发……
redis.conf 配置详解，实在是太强了！
5.5 redis.conf 配置详解
我是 Redis， 当程序员用指令 ./redis-server /path/to/redis.conf 把我启动的时候，第一个参数必须是 redis.conf 文件的路径。
这个……
构建高可用云原生应用，如何有效进行流量管理？
作者： breakDawn。
云原生的概念越来越火，服务的架构应该如何发展和演进，成为很多程序员关心的话题。大名鼎鼎的《深入理解 java 虚拟机》一书作者于 21 年……
RocketMQ 多级存储设计与实现
作者：张森泽
随着 RocketMQ 5.1.0 的正式发布，多级存储作为 RocketMQ 一个新的独立模块到达了 Technical Preview 里程碑：允许用户将消息从本地磁盘卸载到其……