Kafka

Kafka 最初由 Linkedin 公司开发,是一个分布式、支持分区(partition)和多副本(replica)、基于 ZooKeeper 协调的分布式消息系统,使用 Scala 语言编写,并于 2010 年贡献给 Apache 基金会成为顶级开源项目,能够实时处理大量数据以满足批处理、低延迟实时系统、流式处理等多种场景需求。

其核心思想是**以高吞吐量、低延迟的方式在生产者与消费者之间搭建一座可靠的消息桥梁**,让海量数据的收集、传递与分析变得简单且可扩展。

传统应用之间点对点直接调用难以应对海量、高并发数据的收集与解耦;Kafka 通过统一接口的消息系统解耦生产者和消费者、缓存消息,并以持久化与备份保障可靠性。

Apache Kafka 2.8.0

1. 概述

Kafka 是目前主流的分布式消息系统之一,适用于大数据场景下的数据收集、传输与实时处理。

1.1 产生背景

当今社会各种应用系统(商业、社交、搜索、浏览等)像信息工厂一样不断生产各种信息,在大数据时代我们面临如下挑战:

  1. 如何收集这些巨大的信息;
  2. 如何分析它;
  3. 如何及时地做到以上两点。

以上挑战形成了一个业务需求模型:生产者生产(produce)各种信息,消费者消费(consume / 处理分析)这些信息,而在生产者与消费者之间,需要一个沟通两者的桥梁——消息系统。从微观层面来说,这种需求也可理解为不同系统之间如何传递消息。

1.2 核心特性

特性 说明
高吞吐量、低延迟 Kafka 每秒可以处理几十万条消息,延迟最低只有几毫秒
可扩展性 Kafka 集群支持热扩展
持久性、可靠性 消息被持久化到本地磁盘,并支持数据备份防止数据丢失
容错性 允许集群中节点失败(若副本数量为 n,则允许 n-1 个节点失败)
高并发 支持数千个客户端同时读写

1.3 场景应用

场景 说明
日志收集 公司可用 Kafka 收集各种服务的 log,以统一接口服务方式开放给各种 consumer,例如 hadoop、Hbase、Solr 等
消息系统 解耦生产者和消费者、缓存消息等
用户活动跟踪 记录 web 或 app 用户的各种活动(浏览、搜索、点击等),发布到 topic 中供订阅者实时监控分析,或装载到 hadoop、数据仓库做离线分析
运营指标 记录运营监控数据,收集分布式应用数据,集中反馈操作如报警和报告
流式处理 如 Spark Streaming 和 Storm
事件源 作为事件溯源的数据基础

2. 安装

Kafka 运行需要 Java 环境,确保已安装 JDK。

从官方 Apache Kafka 网站下载 Kafka:https://kafka.apache.org/downloads.html

下载安装包并解压:

tar -xzf kafka_2.13-2.8.0.tgz
cd kafka_2.13-2.8.0

Kafka 依赖 ZooKeeper 来管理集群(关于 ZooKeeper 的总结可参考其在各中间件中的应用)。启动 ZooKeeper:

bin/zookeeper-server-start.sh config/zookeeper.properties

在另一个终端窗口中启动 Kafka 服务器:

bin/kafka-server-start.sh config/server.properties
**运行说明** 演示中使用的为 Windows 的 `.bat` 脚本,Linux 脚本则为 `.sh`;二者命令参数完全一致,仅后缀不同。

3. 命令操作

部署好 Kafka 环境后,可查看其 bin 目录下的执行脚本,包含服务端、生产者、消费者、主题等多种操作脚本。

主题命令操作:kafka-topics.sh

3.1 主题命令参数

参数 描述
--bootstrap-server <String: server to connect to> 连接的 Kafka Broker 主机名称和端口号;新版 Kafka(v2.8+)核心参数,支持不依赖 ZooKeeper 直接连接,老版本使用 --zookeeper 参数
--topic <String: topic> 操作的 Topic 名称
--create 创建主题
--delete 删除主题
--alter 修改主题
--list 查看所有主题
--describe 查看主题详细描述
--partitions <Integer: # of partitions> 设置主题分区数
--replication-factor <Integer: replication factor> 设置主题分区副本数
--config <String: name=value> 更新主题默认系统配置,如消息最大保存时长、单条消息最大大小等

3.2 常用命令示例

# 创建topic
kafka-topics.bat --create --replication-factor 1 --partitions 3 
--topic rc-topic --bootstrap-server localhost:9092
> Created topic rc-topic.

# 查看topic列表
kafka-topics.bat --list --bootstrap-server localhost:9092
> rc-topic

# 查看topic信息
kafka-topics.bat --describe --topic rc-topic --bootstrap-server localhost:9092
> Topic: rc-topic TopicId: bFh2j7N0S7Gz7LxuhYSk4Q PartitionCount: 3       ReplicationFactor: 1    Configs:
        Topic: rc-topic Partition: 0    Leader: 0       Replicas: 0     Isr: 0
        Topic: rc-topic Partition: 1    Leader: 0       Replicas: 0     Isr: 0
        Topic: rc-topic Partition: 2    Leader: 0       Replicas: 0     Isr: 0

# 生产者发送消息
kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic

# 消费者接收消息
kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning
**提示** 新版 Kafka(v2.8+)可直接使用 `--bootstrap-server` 连接 Broker,无需依赖 ZooKeeper;老版本需使用 `--zookeeper` 参数。

4. Java 操作 Kafka

4.1 引入依赖

<dependency>
  <groupId>org.springframework.kafka</groupId>
  <artifactId>spring-kafka</artifactId>
</dependency>

4.2 发送消息

// 1. 配置生产者参数
Properties props = new Properties();
props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());
props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, StringSerializer.class.getName());

// 2. 创建生产者对象
KafkaProducer<String, String> producer = new KafkaProducer<>(props);

// 3. 构建消息(topic名称,消息内容)
ProducerRecord<String, String> record = new ProducerRecord<>(
        "rc-topic",  // 主题名
        "csndm!"
);

// 4. 发送消息
producer.send(record);

// 5. 刷新并关闭
producer.flush();
producer.close();

System.out.println("消息发送成功!");

4.3 接收消息

// 1. 配置消费者参数
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
// 消费者组id(随便写,不重复即可)
props.put(ConsumerConfig.GROUP_ID_CONFIG, "rc-group");
// 反序列化
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
// 从头开始消费(第一次启动时生效)
props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest");

// 2. 创建消费者对象
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

// 3. 订阅主题(和生产者主题一致)
consumer.subscribe(Collections.singletonList("rc-topic"));
System.out.println("消费者已启动,等待接收消息...");

// 4. 循环拉取消息
while (true) {
    // 每隔100ms拉取一次消息
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));

    // 处理收到的消息
    for (ConsumerRecord<String, String> record : records) {
        System.out.println("收到消息:" + record.value());
    }
}
**注意** 消费端 `while (true)` 为持续拉取示例,生产环境应结合优雅关闭、异常处理与批量消费策略,避免空轮询浪费资源。

一句话总结:Kafka 是一个以高吞吐量、低延迟在生产者与消费者之间搭建可靠消息桥梁的分布式消息系统,可通过命令行与 Java API 便捷地完成主题管理与消息收发。