从零开始搭建个人大数据集群——环境准备篇
从零开始搭建个人大数据集群（1）——zookeeper
从零开始搭建个人大数据集群（2）——HDFS
从零开始搭建个人大数据集群（3）——YARN
从零开始搭建个人大数据集群（4）——HIVE
从零开始搭建个人大数据集群（5）——HBASE
从零开始搭建个人大数据集群（6）——SPARK
从零开始搭建个人大数据集群（7）——KAFKA

安装前的准备

1.安装好并启动kafka集群
2.下载好kafka-eagle-bin-2.0.5.tar.gz

解压

cd /opt/packages
# 需要解压两次
tar -zxf kafka_2.12-2.6.2.tgz
cd kafka-eagle-bin-2.0.5
tar -zxf kafka-eagle-web-2.0.5-bin.tar.gz -C /opt/apps
ln -s kafka-eagle-web-2.0.5 keagle

配置kafka-eagle

system-config.properties

cd /opt/apps/keagle/conf
以下是我做过的配置，enable=false的都不用管

######################################
# 配置kafka集成的zookeeper地址并命名集群
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hd1:2181,hd2:2181,hd3:2181/kafka

######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=kingc
cluster1.zk.acl.password=wangchen

######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20

######################################
# zk 线程数量
######################################
kafka.zk.limit.size=32

######################################
# kafka eagle 的端口
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk

######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=kingc

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.19.65:3306/kafka_eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=ke
kafka.eagle.password=wangchen

配置环境变量

vim ~/.bash_profile
# 配置KE_HOME并export
KE_HOME=/opt/apps/keagle
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$KE_HOME/bin

source ~/.bash_profile

配置ke.sh

cd /opt/apps/keagle/bin
vim ke.sh
# 将KE_HOME和JAVA_HOME的路径写入
export MALLOC_ARENA_MAX=1
export KE_JAVA_OPTS="-server -Xmx2g -Xms2g -XX:MaxGCPauseMillis=20 -XX:+UseG1GC -XX:MetaspaceSize=128m -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80"
KE_HOME=/opt/apps/keagle
JAVA_HOME=/usr/local/jdk

启动kafka-eagle

ke.sh start
正常启动后会打印以下内容

Q.E.D.