Kafka架构设计原理:如何实现每秒上百万的超高吞吐量和性能并发写入?

2019年4月24日22:13:21Kafka架构设计原理:如何实现每秒上百万的超高吞吐量和性能并发写入?已关闭评论 147 views

Kafka 是高吞吐低延迟的高并发、高性能的消息中间件,在大数据领域有极为广泛的运用。配置良好的 Kafka 集群甚至可以做到每秒几十万、上百万的超高并发写入。

Kafka 的一些架构设计原理,这也是互联网公司面试时非常高频的技术考点。

Kafka 到底是如何做到这么高的吞吐量和性能的呢?这篇文章我们来详细说一下。

页缓存技术 + 磁盘顺序写

首先 Kafka 每次接收到数据都会往磁盘上去写,如下图所示:

webp