Commit Graph

1349 Commits

Author SHA1 Message Date
HuYueeer
1369e7b9eb FAQ (#1189)
新增依赖elasticsearch8.0以上版本出现指标信息不显示的解决方法
2023-11-25 09:22:41 +08:00
Peng
ab6afe6dbc Update README.md 2023-11-14 10:10:51 +08:00
qiao.zeng
e24a582067 [Doc]修改action触发规则 2023-11-12 15:25:23 +08:00
Peng
65f8beef32 Update README.md 2023-11-08 14:11:59 +08:00
Peng
38366809f1 Update README.md 2023-11-08 14:10:40 +08:00
Peng
530219a317 Update README.md 2023-11-08 14:07:58 +08:00
erge
c07e544c50 [Bugfix]Connect-JSON模式下的JSON格式和官方API的格式不一致(#1048) (#1181)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-11-07 19:20:04 +08:00
EricZeng
c9308ee4f2 [Bugfix]修复ci_build失败的问题 (#1173) 2023-10-23 01:11:49 +08:00
爱喝药的大郎
95158813b9 [Bugfix]修复消费组Offset重置后,提示重置成功,但是前端不刷新数据,Offset无变化的问题 (#1090)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

修复消费组Offset重置后,提示重置成功,但是前端不刷新数据,Offset无变化的问题

## 简短的更新日志

使用pubsub-js解决问题

## 验证这一变化
### 重置前:

![7c90f21063995e7a155d30a24f70c82](https://github.com/didi/KnowStreaming/assets/43955116/db10a87d-2353-48f6-bd29-71b6eb47dab9)
### 重置指定分区

![039cf8a01ced8783ea957ab72187d83](https://github.com/didi/KnowStreaming/assets/43955116/f8cd4ac0-d093-4df2-aab3-915571bdd8de)

![84580ab27f725b68456793a47e0ad72](https://github.com/didi/KnowStreaming/assets/43955116/5ce85211-95a0-4809-accd-d57b141b4132)
### 重置最新offset

![image](https://github.com/didi/KnowStreaming/assets/43955116/227b7939-40ac-4c6c-8e92-03fc16413dce)
### 重置最旧offset

![image](https://github.com/didi/KnowStreaming/assets/43955116/56d08648-ac58-43c9-86cd-f88a2a8ae8dd)


请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [x] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [x] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [x] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [x] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [x] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [x] 确保编译通过,集成测试通过;
2023-10-20 09:34:29 +08:00
爱喝药的大郎
59e8a416b5 [Bugfix]修复未勾选系统管理查看权限,但是依然可以查看系统管理的问题 (#1105)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么
修复未勾选系统管理查看权限,但是依然可以查看系统管理的问题
## 简短的更新日志
修复未勾选系统管理查看权限,但是依然可以查看系统管理的问题
## 验证这一变化
### 权限表
<img width="587" alt="image"
src="https://github.com/didi/KnowStreaming/assets/43955116/497fea54-3216-4ae7-8dab-304a07e81209">

### 效果
<img width="1500" alt="image"
src="https://github.com/didi/KnowStreaming/assets/43955116/1e4a8260-336e-4c15-a244-5f768107a990">

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [x] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [x] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [x] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [x] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [x] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [x] 确保编译通过,集成测试通过;

Co-authored-by: suzj <hzsuzj@qq.com>
2023-10-20 09:32:31 +08:00
erge
f6becbdf2c [Optimize]Connect 提交任务变更为只保存用户修改的配置,并修复JSON模式下配置展示不全(#1047) (#1158)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

优化Content新增/编辑

## 简短的更新日志

- [Bugfix] 自定义的高级配置项,在JSON模式下未显示这些配置(#1045)
- [Optimize] 提交任务后只保存用户修改的配置,而不是将所有配置都保存起来,目前不论用户有没有修改配置都保存了所有的配置(#1047)

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-10-20 09:28:52 +08:00
erge
07bd00d60c [Optimize]security下的users、acls接入进权限管理(#1089) (#1154)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-10-18 09:40:07 +08:00
erge
1adfa639ac [Bugfix]Connect-JSON模式下的JSON格式和官方API的格式不一致(#1048) (#1153)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-10-18 09:39:21 +08:00
erge
3f817991aa [Bugfix]优化系统管理子应用无法正常启动 (#1167) 2023-10-15 11:15:39 +08:00
EricZeng
3b72f732be [Optimize]优化集群Brokers中, Controller显示存在延迟的问题 (#1162)
优化方式:
从DB获取调整为从Kafka中实时获取。
2023-09-27 14:05:45 +08:00
lucasun
e2ad3afe3d [Optimize]Connect操作未接入权限管理,所有用户都可以重启、编辑、删除(#1050) (#1147)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-09-14 19:37:12 +08:00
lucasun
ae04ffdd71 [Bugfix]Connect-JMX端口维护信息错误(#1044) (#1146)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-09-14 19:36:33 +08:00
lucasun
cf9d5b6832 [Feature]增加Truncate数据功能(#1043) (#1145)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-09-14 19:35:30 +08:00
lucasun
9c418d3b38 [Feature]新增删除Group或GroupOffset功能(#1040) (#1144)
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

XXXXX

## 简短的更新日志

XX

## 验证这一变化

XXXX

请遵循此清单,以帮助我们快速轻松地整合您的贡献:

* [ ] 一个 PR(Pull Request的简写)只解决一个问题,禁止一个 PR 解决多个问题;
* [ ] 确保 PR 有对应的 Issue(通常在您开始处理之前创建),除非是书写错误之类的琐碎更改不需要 Issue ;
* [ ] 格式化 PR 及 Commit-Log 的标题及内容,例如 #861 。PS:Commit-Log 需要在 Git Commit
代码时进行填写,在 GitHub 上修改不了;
* [ ] 编写足够详细的 PR 描述,以了解 PR 的作用、方式和原因;
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改,请记住在 test 模块中添加 integration-test;
* [ ] 确保编译通过,集成测试通过;
2023-09-14 19:34:55 +08:00
erge
128b180c83 [Bugfix]去除删除Truncate时的多余提示信息 2023-09-10 22:45:59 +08:00
erge
b60941abc8 [Bugfix]去除编辑connect失败多余的提示信息(#1044) 2023-09-10 22:31:20 +08:00
erge
1a42472fd8 [Optimize]Connect操作未接入权限管理,所有用户都可以重启、编辑、删除(#1050) 2023-09-10 17:17:20 +08:00
erge
18e00f043e [Bugfix]Connect-JMX端口维护信息错误(#1044) 2023-09-10 16:46:14 +08:00
erge
6385889902 '[Feature]新增删除Group或GroupOffset功能(didi#1040)' 2023-09-10 16:14:48 +08:00
erge
ea0c744677 '[Feature]增加Truncate数据功能(#1043)' 2023-09-10 13:51:38 +08:00
EricZeng
d1417bef8c [Bugfix]修复删除Kafka集群后,Connect集群任务出现NPE问题 (#1129)
原因:

首先,删除Kafka集群后,没有将DB中的Connect集群进行删除。随后,进行Connect集群指标采集时,由于所在的Kafka集群已经不存在了。最终,导致NPE;

解决:
发布一个Kafka集群删除事件,触发MetaDataService子类,将其在DB中的数据进行删除。

遗留:

当前MetaDataService仅在部分元信息同步类中实现,导致当前DB中的脏数据清理不彻底,后续等MetaDataService在所有元信息同步类中实现后,便可彻底清理数据。

PS:当前修复已保证NPE问题不会再出现。
2023-08-16 10:54:58 +08:00
EricZeng
a7309612d5 [Optimize]统一DB元信息更新格式-Part2 (#1127)
1、KafkaMetaService修改为MetaService并移动到Core层;
2、修改ZK、KafkaACL的格式;
2023-08-15 18:46:41 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125)
1、引入KafkaMetaService;
2、将Connector的更新按照KafkaMetaService进行更新;
3、简化Connect-MirrorMaker的关联逻辑;
4、GroupService创建的AdminClient中的ClientID增加时间戳,减少Mbean冲突;
2023-08-15 14:24:23 +08:00
EricZeng
a6abfb3ea8 [Doc]补充启动失败的说明 (#1126) 2023-08-15 14:21:05 +08:00
chang-wd
ca696dd6e1 [Bugfix] 修复在Ldap登录时,设置auth-user-registration: false会导致空指针的问题 (#1117)
Configure LDAP And Set auth-user-registration: false will result in NPE(Null Pointer Exception) #1116 

---------

Co-authored-by: weidong_chang <weidong_chang@intsig.net>
2023-08-08 14:49:25 +08:00
EricZeng
db40a5cd0a [Optimize]增加AdminClient观测信息 (#1111)
1、增加AdminClient的ClientID;
2、关闭时,增加超时时间;
3、增加关闭错误的日志;
2023-08-02 21:19:03 +08:00
EricZeng
55161e439a [Optimize]增加Connector运行状态指标 (#1110)
1、增加Connector运行状态指标;
2、将Connector指标上报普罗米修斯;
3、调整代码继承关系;
2023-08-02 21:07:45 +08:00
chang-wd
bdffc10ca6 [Bugfix]修复Ldap user.getId() NPE问题 (#1108)
NPE solved

Co-authored-by: weidong_chang <weidong_chang@intsig.net>
2023-08-02 12:15:40 +08:00
lucasun
b1892c21e2 修复前端新增角色失败等问题 (#1107)
1.新增角色不选择系统管理权限点报错问题;
2.Connect配置项里面涉及敏感字段的值用*号代替;
3.Topic详情、ConsumerGroup详情,ConsumerGroup表格支持手动刷;
4.Topic Message预览,Offset为0不显示数值,添加offset排序;

---------

Co-authored-by: 孙超 <jacksuny@foxmail.com>
Co-authored-by: EricZeng <zengqiao_cn@163.com>
2023-08-01 16:34:30 +08:00
EricZeng
90e5492060 [Bugfix]增加查看User密码的权限点 (#1095)
仅后端增加,前端相关代码暂未补充
2023-07-18 14:25:26 +08:00
EricZeng
42195c3180 增加对企业版&体验环境分支的CI 2023-07-07 12:45:27 +08:00
EricZeng
94b1e508fd Build之后生成安装包
1、修改文件名;
2、Build之后生成安装包,方便用户直接下载使用;
2023-07-07 12:36:50 +08:00
EricZeng
dd3dcd37e9 [Feature]新增Group及GroupOffset删除功能Part2 (#1084)
1、修复版本控制错误的问题;
2、增加相关权限点;

PS:仅后端代码,前端待补充。
2023-07-06 15:42:18 +08:00
EricZeng
0a6e9b7633 [Optimize]Jmx相关日志优化 (#1082)
1、统一Jmx客户端相关日志格式;
2、增加创建的Jmx-Connector时,所使用的信息;
3、优化日志级别;
2023-07-06 15:39:51 +08:00
EricZeng
470e471cad 新增build-all.yml 2023-07-05 16:12:12 +08:00
EricZeng
bd58b48bcb [Optimize]Connector增改接口的configs字段名调整为config (#1080)
1、保持和原生一致;
2、当前是兼容状态,可同时支持configs和config;
2023-07-05 13:43:19 +08:00
EricZeng
0cd071c5c6 [Optimize]去除对Connect集群的clusterUrl的动态更新 (#1079)
问题:
clusterUrl动态更新可能会获取到错误的地址,导致请求connect集群相关信息失败;

解决:
去除动态更新,仅支持用户输入;

遗留:
前端需要支持用户输入;
2023-07-05 11:55:16 +08:00
EricZeng
abaadfb9a8 [Optimize]Topic-Partitions增加主动超时功能 (#1076)
问题:
leader=-1的分区获取offset信息时,耗时时间过久会导致前端超时,进而整个页面的数据都获取不到;

解决:
后端主动在前端超时前,对一些请求进行超时,避免导致所有的信息都没有返回给前端;
2023-07-04 14:18:12 +08:00
EricZeng
49e7fea6d3 [Optimize]Topic-Messages页面后端增加按照Partition和Offset纬度的排序 (#1075) 2023-07-03 15:33:15 +08:00
EricZeng
d68a19679e [Optimize]Group列表的maxLag指标调整为实时获取 (#1074)
1、增加调用的超时时间,在前端需要的超时时间内返回;
2、将Group列表的maxLag指标调整为实时获取;
2023-07-03 14:37:35 +08:00
HwiLu
75be94fbea [Doc]补充ZK无数据排查说明 (#1004)
补充ZK无数据排查说明

---------

Co-authored-by: EricZeng <zengqiao_cn@163.com>
2023-06-29 21:51:08 +08:00
EricZeng
c11aa4fd17 [Bugfix]修复Security模块,后端权限点缺失问题 (#1069)
1、补充Security模块-ACL相关权限点;
2、补充Security模块-User相关权限点;
2023-06-29 21:36:58 +08:00
lucasun
cb96fef1a5 [Bugfix]消费组不支持重置到最旧Offset的问题 (#1039) (#1059)
修复了消费组不支持重置到最旧Offset的问题
2023-06-29 11:03:44 +08:00
EricZeng
e98cfbcf91 [Bugfix]修复Connect-Worker Jmx不生效的问题 (#1067)
1、FAQ中补充JMX连接失败的说明;
2、修复Connect-Worker Jmx不生效的问题;
2023-06-28 15:59:13 +08:00
EricZeng
0140b2e898 [Optimize]Connector增加重启、编辑、删除等权限点 (#1066) 2023-06-27 16:46:47 +08:00