删除无效的publish

use mysql 8

.gitignore

@@ -56,6 +56,7 @@ fabric.properties
 *.jar
 *.war
 *.ear
+*.tar.gz
 
 # virtual machine crash logs, see http://www.java.com/en/download/help/error_hotspot.xml
 hs_err_pid*
@@ -99,14 +100,14 @@ target/
 */velocity.log*
 */*.log
 */*.log.*
-web/node_modules/
-web/node_modules/*
+node_modules/
+node_modules/*
 workspace.xml
 /output/*
 .gitversion
-*/node_modules/*
-web/src/main/resources/templates/*
-*/out/*
-*/dist/*
+node_modules/*
+out/*
+dist/
+dist/*
+kafka-manager-web/src/main/resources/templates/
 .DS_Store
-kafka-manager-web/src/main/resources/templates/*

README.md

@@ -37,10 +37,10 @@
 
 ## 相关文档
 
-- [kafka-manager安装手册](./docs/install_cn_guide.md)
-- [kafka-manager接入集群](./docs/manual_kafka_op/add_cluster.md)
-- [kafka-manager使用手册-待更新](./docs/user_cn_guide.md)
-
+- [kafka-manager 安装手册](docs/install_guide/install_guide_cn.md)
+- [kafka-manager 接入集群](docs/user_guide/add_cluster/add_cluster.md)
+- [kafka-manager 用户使用手册](docs/user_guide/user_guide_cn.md)
+- [kafka-manager FAQ](docs/user_guide/faq.md)
 
 ## 钉钉交流群
 

build.sh

@@ -0,0 +1,91 @@
+#!/bin/bash
+workspace=$(cd $(dirname $0) && pwd -P)
+cd $workspace
+
+## constant
+app_name=kafka-manager
+output_dir=output
+
+gitversion=.gitversion
+control=./control.sh
+create_mysql_table=./docs/install_guide/create_mysql_table.sql
+app_config_file=./kafka-manager-web/src/main/resources/application.yml
+
+## function
+function build() {
+    # 进行编译
+#    # cmd 设置使用的JDK, 按需选择, 默认已安装了JDK 8
+#    JVERSION=`java -version 2>&1 | awk 'NR==1{gsub(/"/,"");print $3}'`
+#    major=`echo $JVERSION | awk -F. '{print $1}'`
+#    mijor=`echo $JVERSION | awk -F. '{print $2}'`
+#    if [ $major -le 1 ] && [ $mijor -lt 8 ]; then
+#        export JAVA_HOME=/usr/local/jdk1.8.0_65  #(使用jdk8请设置)
+#        export PATH=$JAVA_HOME/bin:$PATH
+#    fi
+
+    # 编译命令
+	mvn -U clean package -Dmaven.test.skip=true
+
+    local sc=$?
+    if [ $sc -ne 0 ];then
+    	## 编译失败, 退出码为 非0
+        echo "$app_name build error"
+        exit $sc
+    else
+        echo -n "$app_name build ok, vsn="`gitversion`
+    fi
+}
+
+function make_output() {
+	# 新建output目录
+	rm -rf $output_dir &>/dev/null
+	mkdir -p $output_dir &>/dev/null
+
+	# 填充output目录, output内的内容 即为 线上部署内容
+	(
+#        cp -rf $control $output_dir &&                 # 拷贝 control.sh 脚本    至output目录
+        cp -rf $create_mysql_table $output_dir &&       # 拷贝 sql 初始化脚本      至output目录
+        cp -rf $app_config_file $output_dir &&          # 拷贝 application.yml   至output目录
+
+        # 拷贝程序包到output路径
+		cp kafka-manager-web/target/${app_name}-*-SNAPSHOT.jar ${output_dir}/${app_name}.jar
+        echo -e "make output ok."
+	) || { echo -e "make output error"; exit 2; } # 填充output目录失败后, 退出码为 非0
+}
+
+function make_package() {
+	# 压缩output目录
+	(
+	    tar cvzf ${app_name}.tar.gz ${output_dir}
+        echo -e "make package ok."
+	) || { echo -e "make package error"; exit 2; } # 压缩output目录失败后, 退出码为 非0
+}
+
+## internals
+function gitversion() {
+    git log -1 --pretty=%h > $gitversion
+    local gv=`cat $gitversion`
+    echo "$gv"
+}
+
+
+##########################################
+## main
+## 其中,
+## 		1.进行编译
+##		2.生成部署包output
+##		3.生成tar.gz压缩包
+##########################################
+
+# 1.进行编译
+build
+
+# 2.生成部署包output
+make_output
+
+# 3.生成tar.gz压缩包
+make_package
+
+# 编译成功
+echo -e "build done"
+exit 0

docs/dev_guide/Intergration_n9e_monitor.md

@@ -0,0 +1,39 @@
+
+---
+
+![kafka-manager-logo](../assets/images/common/logo_name.png)
+
+**一站式`Apache Kafka`集群指标监控与运维管控平台**
+
+--- 
+
+# 夜莺监控集成
+
+- `Kafka-Manager`通过将 监控的数据 以及 监控的规则 都提交给夜莺，然后依赖夜莺的监控系统从而实现监控告警功能。
+
+- 监控数据上报 & 告警规则的创建等能力已经具备。但类似查看告警历史，告警触发时的监控数据等正在集成中(暂时可以到夜莺系统进行查看)，欢迎有兴趣的同学进行共建 或 贡献代码。
+
+## 1、配置说明
+
+```yml
+# 配置文件中关于监控部分的配置
+monitor:
+  enabled: false
+  n9e:
+    nid: 2
+    user-token: 123456
+    mon:
+      base-url: http://127.0.0.1:8032
+    sink:
+      base-url: http://127.0.0.1:8006
+    rdb:
+      base-url: http://127.0.0.1:80
+
+# enabled: 表示是否开启监控告警的功能, true: 开启, false: 不开启
+# n9e.nid: 夜莺的节点ID
+# n9e.user-token: 用户的密钥，在夜莺的个人设置中
+# n9e.mon.base-url: 监控地址
+# n9e.sink.base-url: 数据上报地址
+# n9e.rdb.base-url: 用户资源中心地址
+```
+

docs/dev_guide/use_mysql_8.md

@@ -0,0 +1,41 @@
+
+---
+
+![kafka-manager-logo](../assets/images/common/logo_name.png)
+
+**一站式`Apache Kafka`集群指标监控与运维管控平台**
+
+--- 
+
+# 使用`MySQL 8`
+
+感谢 [herry-hu](https://github.com/herry-hu) 提供的方案。
+
+
+当前因为无法同时兼容`MySQL 8`与`MySQL 5.7`，因此代码中默认的版本还是`MySQL 5.7`。
+
+
+当前如需使用`MySQL 8`，则续按照下述流程进行简单修改代码。
+
+
+- Step1. 修改application.yml中的MySQL驱动类
+```shell
+
+# 将driver-class-name后面的驱动类修改为:
+# driver-class-name: com.mysql.jdbc.Driver
+driver-class-name: com.mysql.cj.jdbc.Driver
+```
+
+
+- Step2. 修改MySQL依赖包
+```shell
+# 将根目录下面的pom.xml文件依赖的`MySQL`依赖包版本调整为
+
+<dependency>
+    <groupId>mysql</groupId>
+    <artifactId>mysql-connector-java</artifactId>
+#    <version>5.1.41</version>
+    <version>8.0.20</version>
+</dependency>
+```
+

docs/install_guide/create_mysql_table.sql

@@ -36,7 +36,6 @@ CREATE TABLE `app` (
   UNIQUE KEY `uniq_name` (`name`),
   UNIQUE KEY `uniq_app_id` (`app_id`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='应用信息';
-INSERT INTO app(app_id, name, password, type, applicant, principals, description) VALUES ('km-admin-tmp', 'km-admin-tmp', '123456', 0, 'admin', 'admin', '临时应用');
 
 
 --
@@ -204,6 +203,11 @@ CREATE TABLE `gateway_config` (
   PRIMARY KEY (`id`),
   UNIQUE KEY `uniq_type_name` (`type`,`name`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='gateway配置';
+INSERT INTO gateway_config(type, name, value, `version`) values('SERVICE_DISCOVERY_QUEUE_SIZE', 'SERVICE_DISCOVERY_QUEUE_SIZE', 100000000, 1);
+INSERT INTO gateway_config(type, name, value, `version`) values('SERVICE_DISCOVERY_APPID_RATE', 'SERVICE_DISCOVERY_APPID_RATE', 100000000, 1);
+INSERT INTO gateway_config(type, name, value, `version`) values('SERVICE_DISCOVERY_IP_RATE', 'SERVICE_DISCOVERY_IP_RATE', 100000000, 1);
+INSERT INTO gateway_config(type, name, value, `version`) values('SERVICE_DISCOVERY_SP_RATE', 'app_01234567', 100000000, 1);
+INSERT INTO gateway_config(type, name, value, `version`) values('SERVICE_DISCOVERY_SP_RATE', '192.168.0.1', 100000000, 1);
 
 --
 -- Table structure for table `heartbeat`
@@ -290,6 +294,9 @@ CREATE TABLE `kafka_user` (
   `create_time` timestamp NOT NULL DEFAULT CURRENT_TIMESTAMP COMMENT '创建时间',
   PRIMARY KEY (`id`)
 ) ENGINE=InnoDB DEFAULT CHARSET=utf8 COMMENT='kafka用户表';
+INSERT INTO app(app_id, name, password, type, applicant, principals, description) VALUES ('dkm_admin', 'KM管理员', 'km_kMl4N8as1Kp0CCY', 1, 'admin', 'admin', 'KM管理员应用-谨慎对外提供');
+INSERT INTO kafka_user(app_id, password, user_type, operation) VALUES ('dkm_admin', 'km_kMl4N8as1Kp0CCY', 1, 0);
+
 
 --
 -- Table structure for table `logical_cluster`

docs/install_guide/install_guide_cn.md

@@ -1,7 +1,7 @@
 
 ---
 
-![kafka-manager-logo](./assets/images/common/logo_name.png)
+![kafka-manager-logo](../assets/images/common/logo_name.png)
 
 **一站式`Apache Kafka`集群指标监控与运维管控平台**
 
@@ -12,16 +12,16 @@
 
 ## 环境依赖
 
-- `Maven 3.2+`(后端打包依赖)
+- `Maven 3.5+`(后端打包依赖)
 - `node 10+`(前端打包依赖)
 - `Java 8+`(运行环境需要)
-- `MySQL`(数据存储)
+- `MySQL 5.7`(数据存储)
 
 ---
 
 ## 环境初始化
 
-执行[create_mysql_table.sql](./create_mysql_table.sql)中的SQL命令，从而创建所需的MySQL库及表，默认创建的库名是`kafka_manager`。
+执行[create_mysql_table.sql](create_mysql_table.sql)中的SQL命令，从而创建所需的MySQL库及表，默认创建的库名是`kafka_manager`。
 
 ```
 # 示例：
@@ -47,12 +47,12 @@ mvn install
 ```
 # application.yml 是配置文件
 
-cp web/src/main/resources/application.yml web/target/
-cd web/target/
+cp kafka-manager-web/src/main/resources/application.yml kafka-manager-web/target/
+cd kafka-manager-web/target/
 nohup java -jar kafka-manager-web-2.0.0-SNAPSHOT.jar --spring.config.location=./application.yml > /dev/null 2>&1 &
 ```
 
 ## 使用
 
-本地启动的话，访问`http://localhost:8080`，输入帐号及密码进行登录。更多参考：[kafka-manager使用手册](./user_cn_guide.md)
+本地启动的话，访问`http://localhost:8080`，输入帐号及密码(默认`admin/admin`)进行登录。更多参考：[kafka-manager 用户使用手册](../user_guide/user_guide_cn.md)
 

docs/user_cn_guide.md

@@ -1,166 +0,0 @@
-
----
-
-![kafka-manger-logo](./assets/images/common/logo_name.png)
-
-**一站式`Apache Kafka`集群指标监控与运维管控平台**
-
---- 
-
-# kafka-manager 使用手册
-
-管控平台主要有两种用户视角，分别为：
-
-- 普通用户：站在使用Kafka的角度使用kafka-manager；
-- 管理员：站在使用与管理Kafka的角度在使用kafka-manager；
-
-下面我们将从这两个用户的维度说明平台的功能及使用。
-
----
-
-## 1. 普通用户篇
-
-### 1.1 帐号获取及登录
-
-- 询问管理员让其提供普通用户的帐号；
-- 输入帐号及密码，登录kafka-manager；
-
----
-
-### 1.2 Topic申请
-- 步骤一：点击"Topic申请"按钮申请Topic；
-- 步骤二：填写申请信息；
-- 步骤三：等待运维人员或管理员审批；
-
-**Topic申请完成：**
-![my_order_list](./assets/images/kafka_manager_cn_guide/my_order_list.jpg)
-
---- 
-
-### 1.3 Topic信息查看
-
-普通用户可查看的信息包括：
-
-- 集群Topic列表及我收藏的Topic列表；
-- Topic基本信息(Topic创建及修改时间、Topic数据保存时间、Topic负责人等)；
-- Topic分区信息；
-- Topic消费组信息及消费组消费详情；
-- Topic实时&历史流量信息；
-- Topic数据采样；
-
-**Topic详情信息界面：**
-![normal_topic_detail](./assets/images/kafka_manager_cn_guide/normal_topic_detail.jpg)
-
----
-
-### 1.4 Topic运维
-
-普通用户可进行的Topic运维的操作包括：
-- 申请Topic扩容
-- 重置消费偏移；
-
-**Topic重置消费偏移界面：**
-![normal_reset_consume_offset](./assets/images/kafka_manager_cn_guide/normal_reset_consume_offset.jpg)
-
----
-
-### 1.5 告警配置
-
-kafka-manager告警配置中，仅支持Lag／BytesIn/BytesOut这三类告警，同时告警被触发后，告警消息会被发往指定的Topic(具体哪一个请联系管理员获取)。需要用户主动消费该告警Topic的数据或者统一由管理员将该数据接入外部通知系统，比如接入短信通知或电话通知等。
-
-**告警规则配置界面：**
-![normal_create_alarm_rule](./assets/images/kafka_manager_cn_guide/normal_create_alarm_rule.jpg)
-
----
-
-### 1.6 密码修改
-
-**密码修改界面：**
-![normal_modify_password](./assets/images/kafka_manager_cn_guide/normal_modify_password.jpg)
-
----
-
-## 2. 管理员篇
-
-
-### 2.1 帐号获取及登录
-
-- 默认的管理员帐号密码为`admin/admin`(详见数据库account表)；
-
----
-
-### 2.2 添加集群
-
-登录之后，就需要将我们搭建的Kafka集群添加到kafka-manager中。
-
-**添加Kafka集群界面：**
-![admin_add_cluster](./assets/images/kafka_manager_cn_guide/admin_add_cluster.jpg)
-
---- 
-
-### 2.3 监控指标
-
-#### 2.3.1 集群维度指标
-
-- 集群的基本信息；
-- 集群历史及实时流量信息；
-- 集群Topic信息；
-- 集群Broker信息；
-- 集群ConsumerGroup信息；
-- 集群Region信息；
-- 集群当前Controller及变更历史；
-
-**集群维度监控指标界面：**
-![admin_cluster_details](./assets/images/kafka_manager_cn_guide/admin_cluster_details.jpg)
-
----
-
-#### 2.3.2 Broker维度指标
-
-- Broker基本信息；
-- Broker历史与实时流量信息；
-- Broker内Topic信息；
-- Broker内分区信息；
-- Broker关键指标(日志刷盘时间等)；
-- Topic分析(Topic流量占比等)；
-
-**`Broker`维度监控指标界面：**
-![admin_cluster_broker_detail](./assets/images/kafka_manager_cn_guide/admin_cluster_broker_detail.jpg)
-
----
-
-#### 2.3.3 Topic维度指标
-
-- 在普通用户的基础上，增加展示Topic的Broker信息；
-
-图略
-
----
-
-#### 2.3.4 其他维度指标
-
-- 消费组消费哪些具体的Topic；
-
-图略
-
----
-
-### 2.4 集群运维管控
-
-- Topic申请及扩容工单审批；
-- Topic创建、删除、扩容及属性修改；
-- Broker维度优先副本选举；
-- 分区粒度迁移；
-- 逻辑Region管理；
-
-**资源审批界面：**
-![admin_order](./assets/images/kafka_manager_cn_guide/admin_order.jpg)
-
----
-
-### 2.5 用户管理
-
-- 对用户进行增删改查；
-
-**用户管理界面：**
-![admin_manager_account](./assets/images/kafka_manager_cn_guide/admin_manager_account.jpg)

docs/user_guide/add_cluster/add_cluster.md

@@ -1,7 +1,7 @@
 
 ---
 
-![kafka-manager-logo](../assets/images/common/logo_name.png)
+![kafka-manager-logo](../../assets/images/common/logo_name.png)
 
 **一站式`Apache Kafka`集群指标监控与运维管控平台**
 
@@ -19,13 +19,13 @@
 
 ## 1、接入物理集群
 
-![op_add_cluster](./imgs/op_add_cluster.jpg)
+![op_add_cluster](assets/op_add_cluster.jpg)
 
 如上图所示，填写集群信息，然后点击确定，即可完成集群的接入。因为考虑到分布式部署，添加集群之后，需要稍等**`1分钟`**才可以在界面上看到集群的详细信息。
 
 ## 2、创建Region
 
-![op_add_region](./imgs/op_add_region.jpg)
+![op_add_region](assets/op_add_region.jpg)
 
 如上图所示，填写Region信息，然后点击确定，即可完成Region的创建。
 
@@ -33,7 +33,7 @@
 
 ## 3、创建逻辑集群
 
-![op_add_logical_cluster](./imgs/op_add_logical_cluster.jpg)
+![op_add_logical_cluster](assets/op_add_logical_cluster.jpg)
 
 
 如上图所示，填写逻辑集群信息，然后点击确定，即可完成逻辑集群的创建。