从零开始搭建个人大数据集群——环境准备篇
从零开始搭建个人大数据集群(1)——zookeeper
从零开始搭建个人大数据集群(2)——HDFS
从零开始搭建个人大数据集群(3)——YARN
从零开始搭建个人大数据集群(4)——HIVE
从零开始搭建个人大数据集群(5)——HBASE
从零开始搭建个人大数据集群(6)——SPARK
从零开始搭建个人大数据集群(7)——KAFKA
安装前的准备
1.安装好并启动kafka集群
2.下载好kafka-eagle-bin-2.0.5.tar.gz
解压
cd /opt/packages
# 需要解压两次
tar -zxf kafka_2.12-2.6.2.tgz
cd kafka-eagle-bin-2.0.5
tar -zxf kafka-eagle-web-2.0.5-bin.tar.gz -C /opt/apps
ln -s kafka-eagle-web-2.0.5 keagle
配置kafka-eagle
system-config.properties
cd /opt/apps/keagle/conf
以下是我做过的配置,enable=false的都不用管
######################################
# 配置kafka集成的zookeeper地址并命名集群
######################################
kafka.eagle.zk.cluster.alias=cluster1
cluster1.zk.list=hd1:2181,hd2:2181,hd3:2181/kafka
######################################
# zookeeper enable acl
######################################
cluster1.zk.acl.enable=false
cluster1.zk.acl.schema=digest
cluster1.zk.acl.username=kingc
cluster1.zk.acl.password=wangchen
######################################
# broker size online list
######################################
cluster1.kafka.eagle.broker.size=20
######################################
# zk 线程数量
######################################
kafka.zk.limit.size=32
######################################
# kafka eagle 的端口
######################################
kafka.eagle.webui.port=8048
######################################
# kafka offset storage
######################################
cluster1.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk
######################################
# delete kafka topic token
######################################
kafka.eagle.topic.token=kingc
######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.cj.jdbc.Driver
kafka.eagle.url=jdbc:mysql://192.168.19.65:3306/kafka_eagle?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=ke
kafka.eagle.password=wangchen
配置环境变量
vim ~/.bash_profile
# 配置KE_HOME并export
KE_HOME=/opt/apps/keagle
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin:$HIVE_HOME/bin:$ZOOKEEPER_HOME/bin:$KE_HOME/bin
source ~/.bash_profile
配置ke.sh
cd /opt/apps/keagle/bin
vim ke.sh
# 将KE_HOME和JAVA_HOME的路径写入
export MALLOC_ARENA_MAX=1
export KE_JAVA_OPTS="-server -Xmx2g -Xms2g -XX:MaxGCPauseMillis=20 -XX:+UseG1GC -XX:MetaspaceSize=128m -XX:InitiatingHeapOccupancyPercent=35 -XX:G1HeapRegionSize=16M -XX:MinMetaspaceFreeRatio=50 -XX:MaxMetaspaceFreeRatio=80"
KE_HOME=/opt/apps/keagle
JAVA_HOME=/usr/local/jdk
启动kafka-eagle
ke.sh start
正常启动后会打印以下内容
Q.E.D.