标签: Kafka
thumbnail

Kafka使用场景有哪些?如何在宝塔面板上安装使用Kafka?

一、什么是Kafka? Kafka是一种高吞吐量的分布式发布订阅消息系统,它可以处理消费者规模的网站中的所有动作流数据。是自动部署单机模式的环境,用户无需手动……
thumbnail

如何理解高性能设计?Kafka是如何实施的?

1 前言 相信各位小伙伴之前或多或少接触过消息队列,比较知名的包含Rocket MQ和Kafka,在京东内部使用的是自研的消息中间件JMQ,从JMQ2升级到JMQ4的也是带来了……
thumbnail

Cloudflare的Kafka之旅:万亿级消息处理实践

作者 | Matt Boyle, Andrea Medda 译者 | 明知山 策划 | 丁晓昀 在不到 6 年的时间里,Cloudflare 已经向 Kafka 中生成了超过 1 万亿条用于服务间通信的消息……
thumbnail

分布式消息队列Kafka 内部机制原理探究

kafka是一个分布式消息队列。具有高性能、持久化、多副本备份、横向扩展能力。生产者往队列里写消息,消费者从队列里取消息进行业务逻辑。一般在架构设计中起……
thumbnail

Kafka 高可靠高性能核心原理探究总结

引言 在探究 Kafka 核心知识之前,我们先思考一个问题:什么场景会促使我们使用 Kafka?  说到这里,我们头脑中或多或少会蹦出异步解耦和削峰填谷等字样,是的……
thumbnail

Kafka、RabbitMQ、RocketMQ 区别是什么 ?各自适合什么场景 ?

作者:四猿外 来源:知乎 说一下Kafka和RabbitMQ的区别,各自适合什么场景。 经常有人问我 有个 xx 需求,我应该用 Kafka 还是 RabbitMQ ? 这个问题很常见,……
thumbnail

美团技术团队:Kafka在美团数据平台的实践

Kafka在美团数据平台承担着统一的数据缓存和分发的角色,随着数据量的增长,集群规模的扩大,Kafka面临的挑战也愈发严峻。本文分享了美团Kafka面临的实际挑……
thumbnail

Kafka 是如何封装 Selector 多路复用器(中篇)

来源丨华仔聊技术(ID:gh_97b8de4b5b34) 聊聊 Kafka 是如何封装 Selector 多路复用器的,本系列总共分为3篇,今天是中篇,主要剖析4、5两个问题: 针对 ……
thumbnail

Kafka 和 RabbitMQ 的区别,适用于什么场景?

Kafka 和 RabbitMQ 的区别,适用于什么场景? 同时,这个问题在面试中也经常问到。 下面我会通过 6 个场景,来对比分析一下 Kafka 和 RabbitMQ 的优劣。 一、……
thumbnail

Kafka如何保证数据高可靠?

什么叫可靠性? 大家都知道,系统架构有三高:「高性能、高并发和高可用」,三者的重要性不言而喻。 对于任意系统,想要同时满足三高都是一件非常困难的事情……
thumbnail

消息队列原理和选型:Kafka、RocketMQ 、RabbitMQ 和 ActiveMQ

作者楼仔. 消息队列中间件重要吗?面试必问问题之一,你说重不重要。我有时会问同事,为啥你用 RabbitMQ,不用 Kafka,或者 RocketMQ 呢,他给我的回答 “因为……
thumbnail

Kafka 3.0重磅发布,彻底弃用Java8!占领大厂面试题库

Kafka 是消息队列中间件的代表产品,它与RocketMQ和RabbitMQ最大的区别在于:在某些场景,可以弃用Flink、Spark这样的计算引擎,借助Kafka Stream轻松实现数据……
thumbnail

支持百万级TPS,Kafka是怎么做到的?

大数据传输都会想到 Kafka,Kafka 号称大数据的杀手锏,在业界有很多成熟的应用场景并且被主流公司认可。这款为大数据而生的消息中间件,以其百万级TPS的吞……
thumbnail

Java研发面试题集:Kafka 的设计是什么样的呢?

八. Kafka 1、Kafka 的设计是什么样的呢? Kafka 将消息以 topic 为单位进行归纳 将向 Kafka topic 发布消息的程序成为 producers. 将预订 topics 并消费消……
thumbnail

Kafka架构设计原理:如何实现每秒上百万的超高吞吐量和性能并发写入?

Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。 ……
thumbnail

Kafka连接器深度解读之JDBC源连接器

现实业务中,Kafka经常会遇到的一个集成场景就是,从数据库获取数据,因为关系数据库是一个非常丰富的事件源。数据库中的现有数据以及对该数据的任何更改都可……
thumbnail

Apache Kafka 大型应用 20 项最佳实践 1 秒处理 1500 万条消息如何做到?

Apache Kafka 是一款流行的分布式数据流平台,它已经广泛地被诸如 New Relic(数据智能平台)、Uber、Square(移动支付公司)等大型公司用来构建可扩展的、高……