一、Zookeeper集群环境搭建

请参考zookeeper集群搭建

二、kafka集群环境搭建

1.集群环境说明

注：以上3台服务器都是CentOS 7.x系统

2.在各节点上下载并安装kafka

wget http://mirrors.hust.edu.cn/apache/kafka/2.1.0/kafka_2.11-2.1.0.tgz
tar -zxvf kafka_2.11-2.1.0.tgz
mv kafka_2.11-2.1.0 kafka

3.各节点修改集群配置文件config/server.properties

• broker.id : 在集群中的ID标识(各节点不能相同)
• listeners : 监听的broker集群节点
• zookeeper.connect : 连接的zookeeper集群信息

(1)第一个节点配置

broker.id=0
listeners=PLAINTEXT://192.168.0.200:9092
zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181

(2)第二个节点配置

broker.id=1
listeners=PLAINTEXT://192.168.0.201:9092
zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181

(3)第三个节点配置

broker.id=2
listeners=PLAINTEXT://192.168.0.202:9092
zookeeper.connect=192.168.0.200:2181,192.168.0.201:2181,192.168.0.202:2181

4.各节点启动kafka

cd /opt/kafka
bin/kafka-server-start.sh -daemon config/server.properties

注：当启动时提示内存不足时，可以修改内存大小，在bin/kafka-server-start.sh中修改：

export KAFKA_HEAP_OPTS="-Xmx1G -Xms1G"

注：默认是分配1G内存，如果是虚拟机，可能没有这么大内存，可以减小分配的内存，修改成如下：

export KAFKA_HEAP_OPTS="-Xmx256m -Xms256m"

5.编写服务管理脚本

#!/bin/bash
# chkconfig:   - 85 15
#description:kafka service management
KAFKA_PATH=/opt/kafka
KAFKA_BIN=${KAFKA_PATH}/bin
KAFKA_CONFIG=${KAFKA_PATH}/config/server.properties
function start() {
   cd ${KAFKA_BIN}
   ./kafka-server-start.sh -daemon ${KAFKA_CONFIG}
}
function stop() {
   cd ${KAFKA_BIN}
   ./kafka-server-stop.sh
}
case "$1" in
    start)
        start
        ;;
    stop)
        stop
        ;;
    restart)
        stop
        ;;
    restart)
        stop
        sleep 3
        start
        ;;
     *)
        echo $"Usage : $0 {start | stop | restart}"
        exit 2
esac