爬虫是 IO 密集型任务，比如如果我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际...
崔庆才 Python3 爬虫教程：协程基本原理
阅读全文
崔庆才 Python3 爬虫教程：便于高效检索的 Elasticsearch 存储
想查数据，就免不了搜索，而搜索离不开搜索引擎。百度、谷歌都是非常庞大、复杂的搜索引擎，它们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，没必要用这么复杂的技术。如果我们想实现...
崔庆才 Python3 爬虫教程：JavaScript 逆向调试常用技巧
现在越来越多的网站也已经应用JavaScript 压缩、混淆等技术对其数据接口进行了保护，在做爬虫时如果我们遇到了这种情况，我们可能就不得不硬着头皮来去想方设法找出其中隐含的关键逻辑了，这个过程我们可...
崔庆才 Python3 爬虫教程 – Session + Cookie 模拟登录爬取实战
网站登录验证主要有两种实现方式，一种是基于 Session + Cookies 的登录验证，另一种是基于 JWT 的登录验证。接下来两节，我们就通过两个实例来分别讲解这两种登录验证的分析和模拟登录流程...
崔庆才 Python3 爬虫教程 – 代理的使用方法
介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。 1. 准备工作 在本...
python网络爬虫开发：抓取天气信息
问题：获取苏州8-15天的天气信息,包含: 日期、天气、温度、风力等信息，然后将数据存入一个文档中。 1. 问题分析 首先我们进入天气网，然后开始对页面进行分析。右键页面检查网页源代码或者F1...
python网络爬虫开发：BeautifulSoup遍历、搜素文档树
1. 遍历文档树 在解析文档文件的过程中，如果需要遍历文档，我们需要使用到一些特殊的方法， 例如： 1) .contents 获取Tag的所有子节点，以列表的形式返回 例如： 1 2 3 con = ...
python网络爬虫开发：re模块实现正则表达的操作
学习Python的内置re模块，re模块用于实现正则表达的操作，它里面提供了很多方法，例如search()、match()、findall()、split()、sub()等，下面我们依次进行学习。 1...
python网络爬虫开发：BeautifulSoup网页解析库
BeautifulSoup在Python中是一个比较受欢迎的第三方库，它是一款比较优秀的网页解析库，里面提供了很多接口帮助我们来处理导航、搜索、修改分析树，它的查找提取功能非常好用，能够节省程序员大量...
python网络爬虫开发：header处理及网络超时
发送的网络请求可能会被服务器拒绝这可能是该网站设置了反爬虫机制来防止用户恶意采集信息，但这不代表我们不能访问该网站，我们可以模拟服务器的头部信息去访问。 1. 请求headers处理 我们首先打开我们...
python网络爬虫开发：正则表达式的学习
学习爬虫的过程中，正则表达式能够帮助我们根据某些复杂的规则去处理复杂的字符串，它是一个特殊的字符序列，在Python中，系统自带的re模块包含了正则表达式的全部功能，下面我们进入正则表达式的学习。 ...
python网络爬虫开发：技术基础之urllib模块+requests模块
使用爬虫的时候离不开URL地址和下载页面，首先我们就来了解一下URL。它的语法格式一般为： 1 protocol :// hostname[:port] / path / [;parameters][...
python网络爬虫开发：Robots协议的遵守
真正接触了爬虫之后会发现爬虫的功能十分强大，但是我们并不能为所欲为的使用爬虫，爬虫需要遵循robots协议，该协议是国际互联网界通行的道德规范，每一个爬虫都应该遵守，本节我们就来介绍一下爬虫协议。 ...
python网络爬虫开发：概述
网络爬虫（又称为网页蜘蛛，网络机器人，更经常的称为网页追逐者），它按照一定的规则自动地抓取网络信息。 1. 产生背景 随着时代的进步，互联网上拥有大量的信息，但是我们该如何高效的获取这些信息成为了一...
Python爬虫实战案例：爬取周董《最伟大的作品》31074条评论做词云分析
2022年7月15日，周杰伦新专辑《最伟大的作品》正式发售，瞬间屠榜于各大音乐榜单。截止今日，专辑销量已高达520万+，歌友们的评论数量也高达13万+，不得不说周董真的是yyds。作为多年老粉，我也忍...
python是什么？就业领域有哪些 ？怎么算有基础？爬虫开发抓取数据违法嘛？
python越来越火爆并在2021年10月，语言流行指数的编译器Tiobe将Python加冕为最受欢迎的编程语言，且置于Java、C和JavaScript之上，越来越多的人了解python. &nbs...
计算机如何存储数据？Python编程：数据爬虫（中篇）
计算机如何存储数据 这篇文章重点讲数据存储的原理，还有循环原理及使用。对于python各个循环的方法，大家要熟悉并且运用熟练。 6. 存储数据 为了存储数据，你需要两样东西。 (1)能保存状态的东西；...
Python量化交易进阶讲堂：爬虫抓取东方财富网股吧帖子
量化交易策略的研究主要涵盖了微观和宏观这两个方面，微观方面更多地是从市场价格和成交持仓这些基础信息为研究对象，通过算法计算出技术指标，再从技术指标的变化上构建交易模型。宏观方面则是基于更多的市场资讯开...
js判断访问是来自搜索引擎(蜘蛛爬虫)还是直接访问
javascript脚本代码可以实现判断访问是否来自搜索引擎。 代码如下： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 <script ...
搜索引擎蜘蛛爬虫、关键词劫持之php篇(源码与分析)
原理很简单： 搜索引擎关键词劫持的过程实际上就是，修改肉鸡站点（webshell站点）A的首页（希望被搜索引擎收录的页面，一般情况下是首页），使之做出如下判断： if（来访者是蜘蛛）{ 输出指定内容 ...
scrapy爬虫开发具体案例：模拟登录、分页爬取、持久化至指定数据源、定时顺序执行多个spider
scrapy是一个整合了的爬虫框架, 有着非常健全的管理系统. 而且scrapy也是分布式爬虫,scrapy的管理体系非常复杂. 但是特别高效.用途广泛，主要用于数据挖掘、检测以及自动化测试。 本项目...
Python爬虫的面试题及答案精选
Python面试题：你所理解的python爬虫? 爬虫顾名思义，就是像虫子一样，爬在Internet这张大网上。如此，我们便可以获取自己想要的东西。既然要爬在Internet上，那么我们就需要了解UR...
python的scrapy编写一个爬虫的程序实践
流程一览 首先我是想爬某个网站上面的所有文章内容，但是由于之前没有做过爬虫（也不知道到底那个语言最方便），所以这里想到了是用python来做一个爬虫（毕竟人家的名字都带有爬虫的含义?），我这边是打算先...
Python3爬虫教程：实现发送天气预报邮件
Python3爬虫教程之利用Python实现发送天气预报邮件的相关资料，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值，需要的朋友们下面来一起看看吧 前言 此次的目标是爬取...