Kafka 最初由 Linkedin 公司开发,是一个分布式、支持分区(partition)和多副本(replica)、基于 ZooKeeper 协调的分布式消息系统,使用 Scala 语言编写,并于 2010 年贡献给 Apache 基金会成为顶级开源项目,能够实时处理大量数据以满足批处理、低延迟实时系统、流式处理等多种场景需求。
其核心思想是**以高吞吐量、低延迟的方式在生产者与消费者之间搭建一座可靠的消息桥梁**,让海量数据的收集、传递与分析变得简单且可扩展。
Apache Kafka 2.8.0
1. 概述
Kafka 是目前主流的分布式消息系统之一,适用于大数据场景下的数据收集、传输与实时处理。
1.1 产生背景
当今社会各种应用系统(商业、社交、搜索、浏览等)像信息工厂一样不断生产各种信息,在大数据时代我们面临如下挑战:
- 如何收集这些巨大的信息;
- 如何分析它;
- 如何及时地做到以上两点。
以上挑战形成了一个业务需求模型:生产者生产(produce)各种信息,消费者消费(consume / 处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两者的桥梁——消息系统。从微观层面来说,这种需求也可理解为不同系统之间如何传递消息。
1.2 核心特性
| 特性 | 说明 |
|---|---|
| 高吞吐量、低延迟 | Kafka 每秒可以处理几十万条消息,延迟最低只有几毫秒 |
| 可扩展性 | Kafka 集群支持热扩展 |
| 持久性、可靠性 | 消息被持久化到本地磁盘,并支持数据备份防止数据丢失 |
| 容错性 | 允许集群中节点失败(若副本数量为 n,则允许 n-1 个节点失败) |
| 高并发 | 支持数千个客户端同时读写 |
1.3 场景应用
| 场景 | 说明 |
|---|---|
| 日志收集 | 公司可用 Kafka 收集各种服务的 log,以统一接口服务方式开放给各种 consumer,例如 hadoop、Hbase、Solr 等 |
| 消息系统 | 解耦生产者和消费者、缓存消息等 |
| 用户活动跟踪 | 记录 web 或 app 用户的各种活动(浏览、搜索、点击等),发布到 topic 中供订阅者实时监控分析,或装载到 hadoop、数据仓库做离线分析 |
| 运营指标 | 记录运营监控数据,收集分布式应用数据,集中反馈操作如报警和报告 |
| 流式处理 | 如 Spark Streaming 和 Storm |
| 事件源 | 作为事件溯源的数据基础 |
2. 安装
Kafka 运行需要 Java 环境,确保已安装 JDK。
从官方 Apache Kafka 网站下载 Kafka:https://kafka.apache.org/downloads.html
下载安装包并解压:
tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0
Kafka 依赖 ZooKeeper 来管理集群(关于 ZooKeeper 的总结可参考其在各中间件中的应用)。启动 ZooKeeper:
bin/zookeeper-server-start.sh config/zookeeper.properties
在另一个终端窗口中启动 Kafka 服务器:
bin/kafka-server-start.sh config/server.properties
3. 命令操作
部署好 Kafka 环境后,可查看其 bin 目录下的执行脚本,包含服务端、生产者、消费者、主题等多种操作脚本。
主题命令操作:
kafka-topics.sh
3.1 主题命令参数
| 参数 | 描述 |
|---|---|
--bootstrap-server <String: server to connect to> |
连接的 Kafka Broker 主机名称和端口号;新版 Kafka(v2.8+)核心参数,支持不依赖 ZooKeeper 直接连接,老版本使用 --zookeeper 参数 |
--topic <String: topic> |
操作的 Topic 名称 |
--create |
创建主题 |
--delete |
删除主题 |
--alter |
修改主题 |
--list |
查看所有主题 |
--describe |
查看主题详细描述 |
--partitions <Integer: # of partitions> |
设置主题分区数 |
--replication-factor <Integer: replication factor> |
设置主题分区副本数 |
--config <String: name=value> |
更新主题默认系统配置,如消息最大保存时长、单条消息最大大小等 |
3.2 常用命令示例
# 创建topic
kafka-topics.bat --create --replication-factor 1 --partitions 3
--topic rc-topic --bootstrap-server localhost:9092
> Created topic rc-topic.
# 查看topic列表
kafka-topics.bat --list --bootstrap-server localhost:9092
> rc-topic
# 查看topic信息
kafka-topics.bat --describe --topic rc-topic --bootstrap-server localhost:9092
> Topic: rc-topic TopicId: bFh2j7N0S7Gz7LxuhYSk4Q PartitionCount: 3 ReplicationFactor: 1 Configs:
Topic: rc-topic Partition: 0 Leader: 0 Replicas: 0 Isr: 0
Topic: rc-topic Partition: 1 Leader: 0 Replicas: 0 Isr: 0
Topic: rc-topic Partition: 2 Leader: 0 Replicas: 0 Isr: 0
# 生产者发送消息
kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic
# 消费者接收消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning
4. Java 操作 Kafka
4.1 引入依赖
<dependency>
<groupId>org.springframework.kafka</groupId>
<artifactId>spring-kafka</artifactId>
</dependency>
4.2 发送消息
// 1. 配置生产者参数
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
// 2. 创建生产者对象
KafkaProducer<String, String> producer = new KafkaProducer<>(props);
// 3. 构建消息(topic名称,消息内容)
ProducerRecord<String, String> record = new ProducerRecord<>(
"rc-topic", // 主题名
"csndm!"
);
// 4. 发送消息
producer.send(record);
// 5. 刷新并关闭
producer.flush();
producer.close();
System.out.println("消息发送成功!");
4.3 接收消息
// 1. 配置消费者参数
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
// 消费者组id(随便写,不重复即可)
props.put(ConsumerConfig.GROUP_ID_CONFIG, "rc-group");
// 反序列化
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
// 从头开始消费(第一次启动时生效)
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");
// 2. 创建消费者对象
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
// 3. 订阅主题(和生产者主题一致)
consumer.subscribe(Collections.singletonList("rc-topic"));
System.out.println("消费者已启动,等待接收消息...");
// 4. 循环拉取消息
while (true) {
// 每隔100ms拉取一次消息
ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
// 处理收到的消息
for (ConsumerRecord<String, String> record : records) {
System.out.println("收到消息:" + record.value());
}
}
一句话总结:Kafka 是一个以高吞吐量、低延迟在生产者与消费者之间搭建可靠消息桥梁的分布式消息系统,可通过命令行与 Java API 便捷地完成主题管理与消息收发。