Kafka 原理简介

Kafka 原理简介

Kafka 是一种高吞吐的分布式发布订阅的消息系统，可以处理消费者规模的网站中的动作流数据，具有高性能的，持久化，多副本，横向扩展能力。

• https://www.cnblogs.com/sujing/p/10960832.html

Kafka 的组成结构

Kafka 的基础架构图:

• Producer Producer 生产者，消息的生产者。

kafka cluster

• Broker : Broker 是 kafka 的实例，每个服务器有一个或者多个 Kafka实例。Kafka 集群内的 broker 有不重复的编号。

• Topic: 消息主题，可以理解为消息的分类，Kafka 的数据保存在 topic 中，有点类似队列，每个broker 可以创建多个 topic 。

• Partition: Topic 的分区，每个topic 可以有多个分区。分区的作用是负载，提高 kafka 的吞吐量。同一个 Topic 在不同分区上的的数据是不重复的，partion 的表现形式是一个个文件夹。

• Replication：每个分区有多个副