8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

1379 Commits

This Branch
This Branch
All Branches
Author SHA1 Message Date
erge
b60941abc8 [Bugfix]去除编辑connect失败多余的提示信息(#1044) 2023-09-10 22:31:20 +08:00
erge
1a42472fd8 [Optimize]Connect操作未接入权限管理，所有用户都可以重启、编辑、删除(#1050) 2023-09-10 17:17:20 +08:00
erge
18e00f043e [Bugfix]Connect-JMX端口维护信息错误(#1044) 2023-09-10 16:46:14 +08:00
erge
6385889902 '[Feature]新增删除Group或GroupOffset功能(didi#1040)' 2023-09-10 16:14:48 +08:00
erge
ea0c744677 '[Feature]增加Truncate数据功能(#1043)' 2023-09-10 13:51:38 +08:00
EricZeng
d1417bef8c [Bugfix]修复删除Kafka集群后，Connect集群任务出现NPE问题 (#1129) 
原因：

首先，删除Kafka集群后，没有将DB中的Connect集群进行删除。随后，进行Connect集群指标采集时，由于所在的Kafka集群已经不存在了。最终，导致NPE；

解决：
发布一个Kafka集群删除事件，触发MetaDataService子类，将其在DB中的数据进行删除。

遗留：

当前MetaDataService仅在部分元信息同步类中实现，导致当前DB中的脏数据清理不彻底，后续等MetaDataService在所有元信息同步类中实现后，便可彻底清理数据。

PS：当前修复已保证NPE问题不会再出现。
 2023-08-16 10:54:58 +08:00
EricZeng
a7309612d5 [Optimize]统一DB元信息更新格式-Part2 (#1127) 
1、KafkaMetaService修改为MetaService并移动到Core层；
2、修改ZK、KafkaACL的格式；
 2023-08-15 18:46:41 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125) 
1、引入KafkaMetaService；
2、将Connector的更新按照KafkaMetaService进行更新；
3、简化Connect-MirrorMaker的关联逻辑；
4、GroupService创建的AdminClient中的ClientID增加时间戳，减少Mbean冲突；
 2023-08-15 14:24:23 +08:00
EricZeng
a6abfb3ea8 [Doc]补充启动失败的说明 (#1126) 2023-08-15 14:21:05 +08:00
chang-wd
ca696dd6e1 [Bugfix] 修复在Ldap登录时，设置auth-user-registration: false会导致空指针的问题 (#1117) 
Configure LDAP And Set auth-user-registration: false will result in NPE(Null Pointer Exception) #1116 

---------

Co-authored-by: weidong_chang <weidong_chang@intsig.net>
 2023-08-08 14:49:25 +08:00
EricZeng
db40a5cd0a [Optimize]增加AdminClient观测信息 (#1111) 
1、增加AdminClient的ClientID；
2、关闭时，增加超时时间；
3、增加关闭错误的日志；
 2023-08-02 21:19:03 +08:00
EricZeng
55161e439a [Optimize]增加Connector运行状态指标 (#1110) 
1、增加Connector运行状态指标；
2、将Connector指标上报普罗米修斯；
3、调整代码继承关系；
 2023-08-02 21:07:45 +08:00
chang-wd
bdffc10ca6 [Bugfix]修复Ldap user.getId() NPE问题 (#1108) 
NPE solved

Co-authored-by: weidong_chang <weidong_chang@intsig.net>
 2023-08-02 12:15:40 +08:00
lucasun
b1892c21e2 修复前端新增角色失败等问题 (#1107) 
1.新增角色不选择系统管理权限点报错问题；
2.Connect配置项里面涉及敏感字段的值用*号代替；
3.Topic详情、ConsumerGroup详情，ConsumerGroup表格支持手动刷；
4.Topic Message预览，Offset为0不显示数值，添加offset排序；

---------

Co-authored-by: 孙超 <jacksuny@foxmail.com>
Co-authored-by: EricZeng <zengqiao_cn@163.com>
 2023-08-01 16:34:30 +08:00
EricZeng
90e5492060 [Bugfix]增加查看User密码的权限点 (#1095) 
仅后端增加，前端相关代码暂未补充
 2023-07-18 14:25:26 +08:00
EricZeng
42195c3180 增加对企业版&体验环境分支的CI 2023-07-07 12:45:27 +08:00
EricZeng
94b1e508fd Build之后生成安装包 
1、修改文件名；
2、Build之后生成安装包，方便用户直接下载使用；
 2023-07-07 12:36:50 +08:00
EricZeng
dd3dcd37e9 [Feature]新增Group及GroupOffset删除功能Part2 (#1084) 
1、修复版本控制错误的问题；
2、增加相关权限点；

PS：仅后端代码，前端待补充。
 2023-07-06 15:42:18 +08:00
EricZeng
0a6e9b7633 [Optimize]Jmx相关日志优化 (#1082) 
1、统一Jmx客户端相关日志格式；
2、增加创建的Jmx-Connector时，所使用的信息；
3、优化日志级别；
 2023-07-06 15:39:51 +08:00
EricZeng
470e471cad 新增build-all.yml 2023-07-05 16:12:12 +08:00
EricZeng
bd58b48bcb [Optimize]Connector增改接口的configs字段名调整为config (#1080) 
1、保持和原生一致；
2、当前是兼容状态，可同时支持configs和config；
 2023-07-05 13:43:19 +08:00
EricZeng
0cd071c5c6 [Optimize]去除对Connect集群的clusterUrl的动态更新 (#1079) 
问题：
clusterUrl动态更新可能会获取到错误的地址，导致请求connect集群相关信息失败；

解决：
去除动态更新，仅支持用户输入；

遗留：
前端需要支持用户输入；
 2023-07-05 11:55:16 +08:00
EricZeng
abaadfb9a8 [Optimize]Topic-Partitions增加主动超时功能 (#1076) 
问题：
leader=-1的分区获取offset信息时，耗时时间过久会导致前端超时，进而整个页面的数据都获取不到；

解决：
后端主动在前端超时前，对一些请求进行超时，避免导致所有的信息都没有返回给前端；
 2023-07-04 14:18:12 +08:00
EricZeng
49e7fea6d3 [Optimize]Topic-Messages页面后端增加按照Partition和Offset纬度的排序 (#1075) 2023-07-03 15:33:15 +08:00
EricZeng
d68a19679e [Optimize]Group列表的maxLag指标调整为实时获取 (#1074) 
1、增加调用的超时时间，在前端需要的超时时间内返回；
2、将Group列表的maxLag指标调整为实时获取；
 2023-07-03 14:37:35 +08:00
HwiLu
75be94fbea [Doc]补充ZK无数据排查说明 (#1004) 
补充ZK无数据排查说明

---------

Co-authored-by: EricZeng <zengqiao_cn@163.com>
 2023-06-29 21:51:08 +08:00
EricZeng
c11aa4fd17 [Bugfix]修复Security模块，后端权限点缺失问题 (#1069) 
1、补充Security模块-ACL相关权限点；
2、补充Security模块-User相关权限点；
 2023-06-29 21:36:58 +08:00
lucasun
cb96fef1a5 [Bugfix]消费组不支持重置到最旧Offset的问题 (#1039) (#1059) 
修复了消费组不支持重置到最旧Offset的问题
 2023-06-29 11:03:44 +08:00
EricZeng
e98cfbcf91 [Bugfix]修复Connect-Worker Jmx不生效的问题 (#1067) 
1、FAQ中补充JMX连接失败的说明；
2、修复Connect-Worker Jmx不生效的问题；
 2023-06-28 15:59:13 +08:00
EricZeng
0140b2e898 [Optimize]Connector增加重启、编辑、删除等权限点 (#1066) 2023-06-27 16:46:47 +08:00
ZQKC
b3b7ab9f6b [Doc]去除commit信息中带issue-id的限制 
1、使用squash merge后，不需要在写commit-log的时候，带上issue-id的信息；
2、主页的id调整为pr的id；
 2023-06-27 14:48:07 +08:00
EricZeng
b34edb9b64 [Feature]新增删除Group或GroupOffset功能 (#1064) 
不包括前端，后端新增
1、新增Group删除功能；
2、新增Group-Topic纬度Offset删除功能；
3、新增Group-Topic-Partition纬度Offset删除功能；
 2023-06-27 14:32:57 +08:00
诸葛子房
c2bc0f788d [Feature]增加Truncate数据功能(#1062) 
增加Truncate数据功能(#1043)

目前已经完成后端部分，前端待补充。

---------

Co-authored-by: duanxiaoqiu <duanxiaoqiu@qiyi.com>
 2023-06-27 10:58:00 +08:00
SUZJ
3f518c9e63 [Bugfix]修复权限ACL管理中，消费组列表展示错误的问题(#991) 2023-06-25 09:35:43 +08:00
Richard
7f7801a5f7 [Bugfix]消费组不支持重置到最旧Offset的问题 (#1039) 2023-06-20 10:56:22 +08:00
jeff-zou
e1e02f7c2a 日志输出增加支持MDC，方便用户在logback.xml中json格式化日志。 
<appender name="console" class="ch.qos.logback.core.ConsoleAppender">
        <encoder charset="utf-8" class="net.logstash.logback.encoder.LogstashEncoder">
            <includeCallerData>true</includeCallerData>
            <customFields>{"system": "know-streaming"}
            </customFields>
        </encoder>
    </appender>
 2023-06-18 13:04:54 +08:00
ZQKC
c497e4cb2d [Doc]补充连接特定Jmx端口的说明(#965) 
1、补充连接特定Jmx端口的说明；
2、统一JMX问题排查文档；
3、删除无效图片；
 2023-06-15 17:53:19 +08:00
ZQKC
e34e3f3e3d [Feature]支持指定Server的具体Jmx端口(#965) 
变更事项：
1、接入集群时，支持按照Broker粒度进行Jmx端口的配置；
2、设置Jmx端口的优先级为：指定Broker端口 》ZK中获取到的Broker端口 》指定Cluster端口；

补充说明：
1、该修改仅为后端修改，产品上暂未进行修改；
 2023-06-02 14:27:19 +08:00
Fangzhibin
b3fd494398 [Optimize]解决Connect模块没有默认勾选指标（#926） 2023-05-30 22:03:34 +08:00
Richard
ffc115cb76 [Bugfix]修复es索引create/delete死循环问题 (#1021) 2023-05-30 18:03:03 +08:00
ZQKC
7bfe787e39 [Bugfix]修复zk standalone状态不兼容问题 2023-05-19 11:48:50 +08:00
ZQKC
2256e8bbdb [Bugfix]修复Connect-GroupDescription解析失败的问题(#1010) 
1、先尝试使用IncrementalCooperativeConnectProtocol协议进行解析；
2、IncrementalCooperativeConnectProtocol协议解析失败后，再维持原先的情况，使用ConnectProtocol协议进行解析；
 2023-05-16 12:34:58 +08:00
ZQKC
e975932d41 [Bugfix]修复Prometheus开放接口中，Partition指标tag缺失的问题(#1013) 2023-05-12 13:53:58 +08:00
ZQKC
db044caf8b [Optimize]Group元信息更新优化(#1005) 
1、Group元信息未变化时，则不进行updateById操作；
2、失效的Group信息直接删除；
 2023-04-26 22:50:16 +08:00
ZQKC
82fbea4e5f [Doc]补充zk_properties字段的使用说明(#995) 
1、补充 zk_properties 字段 使用说明；
2、补充 Digest-MD5 认证例子；
3、调整 Kerberos 认证说明；
 2023-04-23 11:36:52 +08:00
ZQKC
6aaa4b34b8 补充页面无数据排查手册链接 2023-04-19 15:27:44 +08:00
ZQKC
3cb1f03668 [Optimize]补充ES集群Shard满的异常日志 
1、调整文档的目录结构；
2、补充ES集群Shard满的异常日志；
3、强调说明ES日志所在的位置；
 2023-04-19 15:27:44 +08:00
william
e61c446410 测试 git 提交权限. 2023-04-14 18:08:59 +08:00
ZQKC
9d0345c9cd bump jackson version to 2.13.5 2023-04-11 11:01:20 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00