1.Kafka的安装与启动
2.Kafka常用命令(zookeeper与bootstrap-server)

Kafka的安装与启动

       安装Kafka在mac上，使用brew install kafka命令进行安装。若无Zookeeper，Kafka会自动安装。hmtl维护公告源码

       启动Kafka前，先启动Zookeeper。慧净大师源码进入Kafka安装目录下的bin目录，执行以下命令：./zookeeper-server-start /usr/local/etc/kafka/zookeeper.properties &（确保后台运行）。

       启动Kafka使用brew services start kafka命令（在任意路径）。

       创建话题topic，执行命令：kafka-topics --create --zookeeper localhost: --replication-factor 1 --partitions 1 --topic 你的topic名字。

       创建话题后，使用kafka-topics --list --zookeeper localhost:命令查看已创建的asp 审核 源码话题。

       接下来，创建生产者向话题传入数据。使用命令：kafka-console-producer --broker-list localhost: --topic 话题名字。redis源码日志

       注意：原始参数为Zookeeper地址端口localhost:，Kafka服务器地址为localhost:。

       根据以上步骤，股票SNS 源码对Kafka消费者进行配置，接受信息。详情请参考jianshu.com/p/ddd...

Kafka常用命令(zookeeper与bootstrap-server)

       åœ¨ 0.9.0.0 之后的 Kafka，出现了几个新变动，一个是在 Server 端增加了 GroupCoordinator 这个角色，另一个较大的变动是将 topic 的 offset 信息由之前存储在 zookeeper 上改为存储到一个特殊的 topic（__consumer_offsets）中

Kafka的启动

       åŽå°å¸¸é©»æ–¹å¼,带上参数 -daemon,如:

/kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties

       æŒ‡å®š JMX port 端口启动，指定 jmx，可以方便监控 Kafka 集群

JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties 停止Kafka/kafka/bin/kafka-server-stop.sh Topic

       [使用zk] --zookeeper localhost:

       [使用内置] --bootstrap-server localhost:

1. 创建 Topic

       å®˜æ–¹æŽ¨èå¦‚æžœkafka版本大于等于2.2使用--bootstrap-server替代--zookeeper （2.2以上也兼容--zookeeper）命令如下

kafka-topics.sh --create --bootstrap-server localhost: --replication-factor 1 --partitions 1 --topic mytest

       å¦‚æžœkafka版本小于2.2则命令如下

kafka-topics.sh --create --zookeeper localhost: --replication-factor 1 --partitions 1 --topic mytest参数解释

       1.指定kafka集群(2.2以上)或zookeeper集群

--bootstrap-server node1:,node2:,node3:....

       æˆ–

--zookeeper node1:,node2:,node3:...

       2.指定分区数

--partitions

       3.指定分区的副本数

--replication-factor

       æ‰€ä»¥æ‰§è¡Œä¸Šé¢å‘½ä»¤å°†ä¼šåˆ›å»ºä¸€ä¸ªåä¸ºmytest的topic，该topic下面有1个分区,并且该分区只有1个副本

2. 列出所有Topickafka-topics.sh --list --bootstrap-server localhost:.查看指定TopicJMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties0JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties.增加Topic的partition数kafka-topics.sh --bootstrap-server localhost: --alter --topic mytest --partitions .查看 topic 指定分区 offset 的最大值或最小值

       time 为 -1 时表示最大值，为 -2 时表示最小值：

kafka-run-class.sh kafka.tools.GetOffsetShell --topic mytest --time -1 --broker-list .0.0.1: --partitions 0 6.删除TopicJMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties4 生产消息JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties5 消费消息1.从头开始JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties6 2.从尾部开始

       ä»Žå°¾éƒ¨å¼€å§‹å–数据，必需要指定分区：

JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties7 3.指定分区JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties7 4.取指定个数JMX_PORT= /kafka/bin/kafka-server-start.sh -daemon /kafka/config/server.properties7 --max-messages 1 消费者Group1.指定Group/kafka/bin/kafka-server-stop.sh0 2.消费者Group列表/kafka/bin/kafka-server-stop.sh1 3.查看Group详情[用来判断是否有延迟数据]/kafka/bin/kafka-server-stop.sh2

       è¾“出

/kafka/bin/kafka-server-stop.sh3

       TOPIC ? PARTITION ?CURRENT-OFFSET ?LOG-END-OFFSET ?LAG CONSUMER-ID HOST CLIENT-ID test 0 ?5 ? 5 ? 0 ? - ? - ? -

CURRENT-OFFSET: 当前消费者群组最近提交的 offset，也就是消费者分区里读取的当前位置LOG-END-OFFSET: 当前最高水位偏移量，也就是最近一个读取消息的偏移量，同时也是最近一个提交到集群的偏移量LAG：消费者的 CURRENT-OFFSET 与 broker 的 LOG-END-OFFSET 之间的差距/kafka/bin/kafka-server-stop.sh4

       kafka-consumer-groups.sh --bootstrap-server localhost: --group test_group --delete

/kafka/bin/kafka-server-stop.sh5

       kafka-preferred-replica-election.sh --bootstrap-server localhost: 或 kafka-leader-election.sh --bootstrap-server localhost: --topic test --partition=2 --election-type preferred --partition:指定需要重新分配leader的partition编号

/kafka/bin/kafka-server-stop.sh6

       kafka-producer-perf-test.sh --topic test --num-records --record-size 1 --throughput --producer-props bootstrap.servers=localhost:

/kafka/bin/kafka-server-stop.sh7原文：/post/