Apache kafka 3.5.1

KeyarchOS安装测试

文档修订摘要

目录

1 概述31.1 kafka 简介31.2 KeyarchOS简介32 安装环境42.1 操作系统环境42.2 kafka版本43 安装配置kafka43.1 安装配置jdk1.843.2 安装配置Kafka53.3 查看Kafka版本64 Kafka基本使用64.1 创建topic64.2 查看topic64.3 使用自带的脚本来进行测试6

1 概述

1.1 kafka 简介

Kafka是由Apache软件基金会开发的一个开源流处理平台，由Scala和Java编写。Kafka是一种高吞吐量的分布式发布订阅消息系统，它可以处理消费者在网站中的所有动作流数据。 这种动作（网页浏览，搜索和其他用户的行动）是在现代网络上的许多社会功能的一个关键因素。 这些数据通常是由于吞吐量的要求而通过处理日志和日志聚合来解决。 对于像Hadoop一样的日志数据和离线分析系统，但又要求实时处理的限制，这是一个可行的解决方案。Kafka的目的是通过Hadoop的并行加载机制来统一线上和离线的消息处理，也是为了通过集群来提供实时的消息。其中，Kafka最新版本内置了zookeeper，无需单独安装zookeeper。

1.2 KeyarchOS简介

浪潮信息KOS是浪潮信息基于Linux Kernel、OpenAnolis等开源技术自主研发的一款服务器操作系统，支持x86、ARM等主流架构处理器，性能和稳定性居于行业领先地位，具备成熟的 CentOS 迁移和替换能力，可满足云计算、大数据、分布式存储、人工智能、边缘计算等应用场景需求。

2 安装环境

2.1 操作系统环境

版本信息：KeyarchOS 5.8。

硬件平台：X86_64。

2.2 kafka版本

kafka 3.5.1（当前最新版本）。

3 安装配置kafka

3.1 安装配置jdk1.8

1. 查询JDK可用版本：yum search java | grep -i --color JDK
2. 安装JDK：yum install -y java-1.8.0-openjdk.x86_64

1. 检测安装版本：java -version

3.2 安装配置Kafka

1. 下载kafka3.5.1：
   wget https://downloads.apache.org/kafka/3.5.1/kafka_2.13-3.5.1.tgz
2. 解压：tar zxvf kafka_2.13-3.5.1.tgz
3. 进入解压后的文件夹：cd kafka_2.13-3.5.1/
4. 启动zookeeper，在kafka目录中自带有zookeeper无需另外安装。
   在单独的终端窗口中执行以下命令：
   bin/zookeeper-server-start.sh config/zookeeper.properties

1. 启动kafka，在另一个终端窗口中执行以下命令：

bin/kafka-server-start.sh config/server.properties

3.3 查看Kafka版本

执行命令：bin/kafka-topics.sh --version

4 Kafka基本使用

4.1 创建topic

创建topic：执行命令：
bin/ kafka-topics.sh --create --bootstrap-server localhost:9092 --topic test --partitions 1 --replication-factor 1

4.2 查看topic

查看topic：执行命令：bin/ kafka-topics.sh --bootstrap-server localhost:9092 --list

4.3 使用自带的脚本来进行测试

1. 使用kafka-console-producer.sh 发送消息：
   bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

1. 使用kafka-console-consumer.sh消费消息：

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test