java_python网络爬虫技术开发教程

崔庆才 Python3 爬虫教程：协程基本原理

爬虫是 IO 密集型任务，比如如果我们使用 requests 库来爬取某个站点的话，发出一个请求之后，程序必须要等待网站返回响应之后才能接着运行，而在等待响应的过程中，整个爬虫程序是一直在等待的，实际...

2022年9月18日后端程序开发218 views评论

想查数据，就免不了搜索，而搜索离不开搜索引擎。百度、谷歌都是非常庞大、复杂的搜索引擎，它们几乎索引了互联网上开放的所有网页和数据。然而对于我们自己的业务数据来说，没必要用这么复杂的技术。如果我们想实现...

2022年9月18日后端程序开发214 views评论

现在越来越多的网站也已经应用JavaScript 压缩、混淆等技术对其数据接口进行了保护，在做爬虫时如果我们遇到了这种情况，我们可能就不得不硬着头皮来去想方设法找出其中隐含的关键逻辑了，这个过程我们可...

2022年9月18日186 views评论

网站登录验证主要有两种实现方式，一种是基于 Session + Cookies 的登录验证，另一种是基于 JWT 的登录验证。接下来两节，我们就通过两个实例来分别讲解这两种登录验证的分析和模拟登录流程...

2022年9月18日224 views评论

介绍了多种请求库，如 urllib、requests、Selenium、Playwright 等用法，但是没有统一梳理代理的设置方法，本节我们来针对这些库来梳理下代理的设置方法。 1. 准备工作在本...

2022年9月18日205 views评论

问题：获取苏州8-15天的天气信息,包含: 日期、天气、温度、风力等信息，然后将数据存入一个文档中。 1. 问题分析首先我们进入天气网，然后开始对页面进行分析。右键页面检查网页源代码或者F1...

2022年8月7日236 views评论

1. 遍历文档树在解析文档文件的过程中，如果需要遍历文档，我们需要使用到一些特殊的方法，例如： 1) .contents 获取Tag的所有子节点，以列表的形式返回例如： 1 2 3 con = ...

2022年8月7日云计算与大数据274 views评论

学习Python的内置re模块，re模块用于实现正则表达的操作，它里面提供了很多方法，例如search()、match()、findall()、split()、sub()等，下面我们依次进行学习。 1...

2022年8月7日云计算与大数据410 views评论

BeautifulSoup在Python中是一个比较受欢迎的第三方库，它是一款比较优秀的网页解析库，里面提供了很多接口帮助我们来处理导航、搜索、修改分析树，它的查找提取功能非常好用，能够节省程序员大量...

2022年8月7日405 views评论

发送的网络请求可能会被服务器拒绝这可能是该网站设置了反爬虫机制来防止用户恶意采集信息，但这不代表我们不能访问该网站，我们可以模拟服务器的头部信息去访问。 1. 请求headers处理我们首先打开我们...

2022年8月7日398 views评论