云计算与大数据美团技术团队:Kafka在美团数据平台的实践 Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑战,以及美团针对性的一些优化工作,希望能... 2022年8月11日324 views评论Kafka 阅读全文
web服务器Kafka 是如何封装 Selector 多路复用器(中篇) 来源丨华仔聊技术(ID:gh_97b8de4b5b34) 聊聊 Kafka 是如何封装 Selector 多路复用器的,本系列总共分为3篇,今天是中篇,主要剖析4、5两个问题: 针对 Java NIO... 2022年7月20日376 views评论Kafka 阅读全文
软件工程与架构Kafka 和 RabbitMQ 的区别,适用于什么场景? Kafka 和 RabbitMQ 的区别,适用于什么场景? 同时,这个问题在面试中也经常问到。 下面我会通过 6 个场景,来对比分析一下 Kafka 和 RabbitMQ 的优劣。 一、消息的顺序 有... 2022年7月8日461 views评论Kafka 阅读全文
软件工程与架构Kafka如何保证数据高可靠? 什么叫可靠性? 大家都知道,系统架构有三高:「高性能、高并发和高可用」,三者的重要性不言而喻。 对于任意系统,想要同时满足三高都是一件非常困难的事情,大型业务系统或者传统中间件都会搭建复杂的架构来保证... 2022年6月15日228 views评论Kafka 阅读全文
软件工程与架构消息队列原理和选型:Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ 作者楼仔. 消息队列中间件重要吗?面试必问问题之一,你说重不重要。我有时会问同事,为啥你用 RabbitMQ,不用 Kafka,或者 RocketMQ 呢,他给我的回答 “因为公司用的就是这个,大家都... 2022年6月15日657 views评论Kafka 消息队列 阅读全文
web服务器Kafka 3.0重磅发布,彻底弃用Java8!占领大厂面试题库 Kafka 是消息队列中间件的代表产品,它与RocketMQ和RabbitMQ最大的区别在于:在某些场景,可以弃用Flink、Spark这样的计算引擎,借助Kafka Stream轻松实现数据处理。也... 2022年2月21日623 views评论Kafka 阅读全文
web服务器支持百万级TPS,Kafka是怎么做到的? 大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级TPS的吞吐量名声大噪,迅速成为大数据领域的宠儿,... 2020年11月22日1,074 views评论Kafka 阅读全文
后端程序开发Java研发面试题集:Kafka 的设计是什么样的呢? 八. Kafka 1、Kafka 的设计是什么样的呢? Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics ... 2019年8月5日2,134 views评论Java Kafka 面试题 阅读全文
数据库教程Kafka架构设计原理:如何实现每秒上百万的超高吞吐量和性能并发写入? Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。 Kafka 的一些架构设计原理,这也是... 2019年4月24日2,340 viewsKafka架构设计原理:如何实现每秒上百万的超高吞吐量和性能并发写入?已关闭评论Kafka 阅读全文
数据库教程Kafka连接器深度解读之JDBC源连接器 现实业务中,Kafka经常会遇到的一个集成场景就是,从数据库获取数据,因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可以流式传输到Kafka主题中,在这里这些事件可用... 2019年3月16日2,409 views评论Kafka 阅读全文