云计算与物联网scrapy实例进阶:怎么爬取动态网页?下载器中间件是什么?爬取网易新闻思路讲解 怎么爬取动态网页?之前学习requests模块的时候,我们借助于Ajax请求,获取动态加载的数据,后来学习了selenium,我们也可以轻松获取动态加载的网页,那么scrapy怎么获取动态加载的内容呢... 2022-10-18668 viewsCommentsscrapy 阅读全文
云计算与物联网Scrapy框架开发爬虫入门:Spider是什么? Spider是什么? Spider是一个Scrapy提供的基本类,Scrapy中包含的其他基本类(例如CrawlSpider)以及自定义的spider都必须继承这个类。 Spider是定义如何抓取某个... 2022-10-181,056 viewsCommentsscrapy 阅读全文
云计算与物联网Pytorch 是如何进行梯度计算的? Pytorch 作为最受欢迎的深度学习框架之一,其对于梯度计算的支持自然是不言而喻的。最近对 Pytorch 进行了更进一步的学习,发现了它为了服务深度学习,做了很多针对性的设计。搭积木并不是 Pyt... 2022-10-081,202 viewsCommentsPyTorch 阅读全文
云计算与物联网Kubernetes(k8s)的核心设计介绍 得益于 docker 的特性,服务的创建和销毁变得非常快速、简单。Kubernetes 正是以此为基础,实现了集群规模的管理、编排方案,使应用的发布、重启、扩缩容能够自动化。本篇介绍 Kubernet... 2022-08-281,270 viewsCommentsKubernetes 阅读全文
云计算与物联网DevOps知识框架体系和最佳实践案例整理 DevOps知识框架概述 对于DevOps研发运维一体化,我在前面也写过了不少文章,包括了基础知识,敏捷研发,持续集成和交付,流水线设计,DevOps和容器云的集成,开源工具集,DevOps能力成熟度... 2022-08-131,030 viewsCommentsDevOps 阅读全文
云计算与物联网云计算时代,DevOps 在移动应用程序开发中扮演什么角色? 作者 | VARUN BHAGAT 译者 | 火火酱,责编| Carol 封图 | CSDN 付费下载自视觉中国 全球智能手机用户数量已经超过30亿。据估计,未来几年用户人数将增加至数亿人。智能手机用... 2022-08-131,175 viewsCommentsDevOps 阅读全文
云计算与物联网消费互联网转型产业互联网,云原生时代 DevOps 如何选型? 今天的中国互联网,正加速从消费互联网向产业互联网转型,数字化变革逐渐渗透到每一个具体产业,弹性算力已变成各行各业的水电煤,从底层驱动产业变革。以区块链、IoT、人工智能、大数据等先进技术为代表,新的云... 2022-08-131,018 viewsCommentsDevOps 云原生 阅读全文
云计算与物联网云计算、雾计算、边缘计算与数据库的关系有哪些?此文讲得清楚明析! 2006年Google的CEO埃里克·施密特首次提出了云计算(Cloud Computing)的概念。2011年,哥伦比亚大学的Prof.Stolfo教授提出雾计算(Fog Computing),后被... 2022-08-13874 viewsComments 阅读全文
云计算与物联网中型企业云原生成本优化实战指南:CPU 利用率从 10% 提升至 60% 在互联网早期迅速发展时,相关领域企业更多注重于扩展业务,为了迅速占领市场,往往会投入较高的成本。然而,随着互联网人口红利逐渐消退,以及近几年的疫情影响,越来越多企业开始重视成本管理,从“粗放式经营”转... 2022-08-131,057 viewsComments云原生 阅读全文
云计算与物联网Kuberntes云原生实战:使用Rook搭建Ceph集群 Rook介绍 Rook https://rook.io 是一个自管理的分布式存储编排系统,可以为Kubernetes提供便利的存储解决方案。 Rook本身并不提供存储,而是在kubernetes和存储... 2022-08-131,443 viewsCommentsKubernetes 云原生 阅读全文
云计算与物联网云原生Devops 实现方法,还能提升员工幸福感呢~ DevOps 是一个持续改善软件产品的过程,它通过极短的发布周期、全面自动化的集成和交付流水线,以及团队间的紧密协作来不断改善产品。DevOps 的目标是缩短将创意变成用户可以使用的产品的时间,并降低... 2022-08-13955 viewsCommentsDevOps 云原生 阅读全文
云计算与物联网进击的云原生,从业者年薪200W,能带来什么变化? “越来越多的企业开始拥抱云原生,云原生技术在制造、政务、电信、金融等垂直行业的应用占比也在快速攀升,有力地支撑了业务系统重构。”工信部信息技术发展司二级调研员李琰说道。 作为当下最为火爆的技术之一,云... 2022-08-131,172 viewsComments云原生 阅读全文
云计算与物联网什么是云原生,跟云计算有什么关系? 云原生(Cloud Native)的概念,最早是由Pivotal于2015年提出的,但是即使到了2019年上半年,国内对其的关注依然相对有限。直到2019年9月,“云原生”才突然一跃成为行业最热门的词... 2022-08-13924 viewsComments云原生 阅读全文
云计算与物联网构建云原生权限的5个最佳实践 转载自 云计算D1net Weis 基于云原生/微服务的产品很复杂,为这些产品构建访问控制和管理权限也很复杂。而且每次拉取请求只会让情况变得更糟。大多数开发人员最终都会为他们的产品多次构建授权或访问控... 2022-08-131,130 viewsComments云原生 阅读全文
云计算与物联网数字化转型时代,云原生的应用特性及关键技术 云原生并不是一个新的概念,但因其在数字化转型中发挥着越来越重要的作用,又被推上了“风口浪尖”。 云原生是英文Cloud Native的直译。这意味着云原生应用是从云上生长出来,而不是布置在云上,更非依... 2022-08-13826 viewsComments云原生 阅读全文
云计算与物联网云原生一体化数仓是什么?有哪些技术理念? 一、云原生一体化数仓的发布背景 1.市场情况 IDC 2021年的报告显示,2021年全球大数据软件市场规模达预计可达5414.2亿人民币,相比较2020年的4813.6亿元人民币,增长12.5%;2... 2022-08-131,062 viewsComments云原生 阅读全文
云计算与物联网云原生该怎么学?先了解云原生技术图谱 云原生该怎么学?这里我个人总结了一下云原生领域里面一些重要的概念和技术供大家一起学习,也欢迎补充。 kubernetes k8s无疑云原生的底座,具体内容包括k8s调度编排、helm、CNI、CSI、... 2022-08-13984 viewsComments云原生 阅读全文
云计算与物联网菜鸟扫盲:云原生应用与云原生应用平台 云原生架构发展的过程同时云原生应用与云原生应用平台,那什么是云原生应用?云原生应用是在云平台上设计、开发、部署、运行的应用,云原生应用不只是将应用打包成容器镜像,还需要结合云原生技术将镜像部署到 K8... 2022-08-13853 viewsComments云原生 阅读全文
云计算与物联网美团技术团队:Kafka在美团数据平台的实践 Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能... 2022-08-111,090 viewsCommentsKafka 阅读全文
云计算与物联网腾讯超大(千亿级) Apache Pulsar 集群性能调优实践 导读 近期,腾讯 TEG 数据平部 MQ 团队开发部署了一套底层运维指标性能分析系统(本文简称 Data 项目) ,目前作为通用基础设施服务整个腾讯集团。该系统旨在收集性能指标、上报数据以用于业务的运... 2022-08-101,049 viewsComments 阅读全文
云计算与物联网深度介绍分布式系统原理,2万字值得程序员/架构师收藏! 1、概念 1.1 模型 节点 在具体的工程项目中,一个节点往往是一个操作系统上的进程。在本文的模型中,认为节点是一个完整的、不可分的整体,如果某个程序进程实际上由若干相对独立部分构成,则在模型中可以将... 2022-08-071,227 viewsComments分布式系统 阅读全文
云计算与物联网什么是分布式系统?如何设计和保证高可用?面临哪些挑战? 什么是分布式系统 “分布式系统就是若干的独立的计算机的集合,而这些计算机对于用户来讲就是单个计算机系统” 这其中有两个比较关键的点 硬件独立 软件统一 那么什么是硬件独立呢?硬件独立是指机器本身的独立... 2022-08-071,259 viewsComments分布式系统 阅读全文
云计算与物联网软件工程师需要了解的分布式系统知识体系大纲 本大纲旨在向软件工程师介绍现实中分布式系统的基础知识,以便让大家获得对分布式系统中关键术语的直观理解,并探讨生产中问题。 分布式系统的定义 什么是分布式系统?Lamport在1987给出了分布式的定义... 2022-08-071,733 viewsComments分布式系统 阅读全文
云计算与物联网什么是分布式系统?如何学习? 对于分布式系统,并没有一个跟清晰的概念。分布式系统涉及到很多的技术、理论与协议,很多人也说,分布式系统是“入门容易,深入难”,我之前的学习也只算是管中窥豹,只见得其中一斑。因此,一致希望能对分布式系统... 2022-08-071,123 viewsComments分布式系统 阅读全文