爱游戏全站app官网入口-爱游戏官网

单节点kafka部署笔记 -爱游戏全站app官网入口

2023-09-06,,

因为工作中需要对接kafka,准备在测试环境中自己一套,考虑方便决定部署一台单点。

2.1 scala

2.1.1 java环境

openjdk即可,我使用的是openjdk1.8

2.1.2 下载软件

下载scala-2.12.17.tgz并解压,例如解压到/home/scala/scala-2.12.17

2.1.3 环境变量

export scala_home=/home/scala/scala-2.12.17
export path=$scala_home/bin:$path

2.1.4 测试

scala -version,如能正常输出版本则一切正常

2.2 kafka

以下为爱游戏官网教程

2.2.1 下载

下载 kafka_2.12-3.3.1.tgz 并解压,进入目录下。

2.2.2 生成cluster uuid

kafka_cluster_id="$(bin/kafka-storage.sh random-uuid)"

2.2.3 日志记录

bin/kafka-storage.sh format -t $kafka_cluster_id -c config/kraft/server.properties

2.2.4 启动

首先修改kafka目录下 /config/kraft/server.properties中的

listeners=plaintext://:9092

修改为对外地址,否则只能localhost使用

bin/kafka-server-start.sh config/kraft/server.properties &

如果正常,则tcp 9092、9093端口处于listening状态

3.1 命令行调用

3.1.1 操作topic

创建topic

bin/kafka-topics.sh --create --topic quickstart-events --bootstrap-server localhost:9092

删除topic

bin/kafka-topics.sh --delete --topic quickstart-events --bootstrap-server localhost:9092

3.1.2 显示topic信息

显示所有topic

bin/kafka-topics.sh --bootstrap-server localhost:9092 --list

显示具体topic信息

bin/kafka-topics.sh --describe --topic quickstart-events --bootstrap-server localhost:9092

查看topic是否已成功创建

3.1.3 写入信息

bin/kafka-console-producer.sh --topic quickstart-events --bootstrap-server localhost:9092

3.1.4 读取信息

新开一个终端执行

bin/kafka-console-consumer.sh --topic quickstart-events --from-beginning --bootstrap-server localhost:9092

完成后,在原先终端输入信息,在本终端则可以查看到

3.2 python调用

3.2.1 模块安装

pip3 install kafka-python -i https://pypi.tuna.tsinghua.edu.cn/simple

3.2.2 demo代码

from kafka import kafkaproducer
kafka_producer= kafkaproducer(bootstrap_servers = "localhost:9092")
kafka_producer.send("topic-01", "this is message".encode('utf-8'))

3.3 旧版本命令

bin/kafka-topics.sh --zookeeper localhost:2181 --list
bin/kafka-topics.sh --zookeeper localhost:2181 --create --topic alarm-01 --partitions 1 --replication-factor 1
bin/kafka-console-producer.sh --broker-list localhost:9092 --topic alarm-01
bin/kafka-console-consumer.sh --topic alarm-01 --from-beginning --bootstrap-server localhost:9092
bin/kafka-topics.sh --zookeeper localhost:2181 --delete --topic alarm-01

单kafka部署的相关教程结束。

网站地图