Ubuntu20.04上Kafka保姆级安装指南：从Java环境到消息收发全流程

Ubuntu 20.04 环境下 Kafka 的深度部署与实战：从零构建高可用消息系统

在当今数据驱动的应用架构中，消息队列扮演着异步解耦、流量削峰和数据缓冲的关键角色。Apache Kafka，作为分布式流处理平台的佼佼者，以其高吞吐、低延迟和水平扩展能力，成为了构建实时数据管道和流式应用的首选。对于许多开发者而言，在本地开发环境或测试服务器上快速搭建一个稳定可用的Kafka服务，是迈入流处理世界的第一步。Ubuntu 20.04 LTS，以其稳定的长期支持和广泛的社区资源，是进行此类实践的理想操作系统。本文将带你深入Ubuntu 20.04环境，不仅完成Kafka的安装，更会剖析其核心组件、配置优化，并演示从环境准备到生产消费的完整闭环，同时分享我在部署过程中遇到的那些“坑”和解决之道。

1. 环境准备与核心依赖解析

在着手安装Kafka之前，我们必须清晰地理解其运行依赖。Kafka本身是用Scala和Java编写的，因此一个健康的Java运行时环境（JRE）是基石。此外，虽然Kafka新版本（2.8.0及以上）引入了KRaft模式以摆脱对ZooKeeper的依赖，但当前绝大多数生产环境和教程仍基于经典的“Kafka + ZooKeeper”架构。对于学习和测试，我们也将采用这一经典组合，因为它能帮助我们更好地理解分布式协调在Kafka集群中的作用。

1.1 Java环境部署与版本选择

首先，确保你的Ubuntu 20.04系统已更新：

sudo apt update && sudo apt upgrade -y

接下来安装Java。Kafka官方推荐使用Java 8或Java 11。我个人更倾向于Java 11，它在性能和长期支持上表现更佳。我们将安装OpenJDK 11：

sudo apt install openjdk-11-jdk -y

安装完成后，验证安装是否成功：

java -version

你应该能看到类似以下的输出：

openjdk version "11.0.22" 2024-01-16
OpenJDK Runtime Environment (build 11.0.22+7-post-Ubuntu-0ubuntu222.04.1)
OpenJDK 64-Bit Server VM (build 11.0.22+7-post-Ubuntu-0ubuntu222.04.1, mixed mode, sharing)

注意：如果你的系统已经安装了多个Java版本，可以使用 sudo update-alternatives --config java 来切换默认版本。确保Kafka启动时使用的是我们安装的Java 11。

1.2 ZooKeeper的独立部署

ZooKeeper是Kafka的“大脑”，负责管理集群的元数据、领导者选举和配置信息。我们将单独部署它，而不是使用Kafka自带的简易版，这更贴近生产实践。

下载稳定版本的Apache ZooKeeper：

cd /opt
sudo wget https://downloads.apache.org/zookeeper/zookeeper-3.8.3/apache-zookeeper-3.8.3-bin.tar.gz
sudo tar -xzf apache-zookeeper-3.8.3-bin.tar.gz
sudo mv apache-zookeeper-3.8.3-bin zookeeper
sudo chown -R $USER:$USER /opt/zookeeper

创建ZooKeeper的数据目录和配置文件：

mkdir -p /opt/zookeeper/data
cd /opt/zookeeper/conf
cp zoo_sample.cfg zoo.cfg

现在，编辑 zoo.cfg 文件，关键配置如下：

# 数据目录，用于存放内存数据库快照和事务日志
dataDir=/opt/zookeeper/data
# 客户端连接端口
clientPort=2181
# 基础时间单位（毫秒），用于心跳和超时计算
tickTime=2000
# 初始化连接时，允许follower连接并同步到leader的最大时间（tickTime的倍数）
initLimit=10
# 同步阶段，leader和follower之间请求/应答的最大时间（tickTime的倍数）
syncLimit=5
# 最大客户端连接数
maxClientCnxns=60
# 启用四字命令，用于监控
4lw.commands.whitelist=*

启动ZooKeeper服务，并验证其状态：

cd /opt/zookeeper
bin/zkServer.sh start
# 检查进程
ps -ef | grep zookeeper
# 使用客户端连接测试
bin/zkCli.sh -server 127.0.0.1:2181