8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

106 Commits

Author SHA1 Message Date
jiangminbing
fcf0a08e0a [Bugfix] 修复BrokerConfigServiceImpl.getBrokerConfigByZKClient方法一定返回空的问题 (#1198) 
修复获取ZK-Broker配置，出现空列表的问题

Co-authored-by: jiangmb <jiangmb@televehicle.com>
 2024-01-06 16:40:11 +08:00
jiangminbing
af82c2e615 [Bugfix] 修复Overview指标文字错误 (#1190) 
[Bugfix] 修复Overview指标文字错误 (#1150)

Co-authored-by: jiangmb <jiangmb@televehicle.com>
 2023-11-25 09:27:43 +08:00
EricZeng
d1417bef8c [Bugfix]修复删除Kafka集群后，Connect集群任务出现NPE问题 (#1129) 
原因：

首先，删除Kafka集群后，没有将DB中的Connect集群进行删除。随后，进行Connect集群指标采集时，由于所在的Kafka集群已经不存在了。最终，导致NPE；

解决：
发布一个Kafka集群删除事件，触发MetaDataService子类，将其在DB中的数据进行删除。

遗留：

当前MetaDataService仅在部分元信息同步类中实现，导致当前DB中的脏数据清理不彻底，后续等MetaDataService在所有元信息同步类中实现后，便可彻底清理数据。

PS：当前修复已保证NPE问题不会再出现。
 2023-08-16 10:54:58 +08:00
EricZeng
a7309612d5 [Optimize]统一DB元信息更新格式-Part2 (#1127) 
1、KafkaMetaService修改为MetaService并移动到Core层；
2、修改ZK、KafkaACL的格式；
 2023-08-15 18:46:41 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125) 
1、引入KafkaMetaService；
2、将Connector的更新按照KafkaMetaService进行更新；
3、简化Connect-MirrorMaker的关联逻辑；
4、GroupService创建的AdminClient中的ClientID增加时间戳，减少Mbean冲突；
 2023-08-15 14:24:23 +08:00
EricZeng
db40a5cd0a [Optimize]增加AdminClient观测信息 (#1111) 
1、增加AdminClient的ClientID；
2、关闭时，增加超时时间；
3、增加关闭错误的日志；
 2023-08-02 21:19:03 +08:00
EricZeng
55161e439a [Optimize]增加Connector运行状态指标 (#1110) 
1、增加Connector运行状态指标；
2、将Connector指标上报普罗米修斯；
3、调整代码继承关系；
 2023-08-02 21:07:45 +08:00
EricZeng
dd3dcd37e9 [Feature]新增Group及GroupOffset删除功能Part2 (#1084) 
1、修复版本控制错误的问题；
2、增加相关权限点；

PS：仅后端代码，前端待补充。
 2023-07-06 15:42:18 +08:00
EricZeng
0cd071c5c6 [Optimize]去除对Connect集群的clusterUrl的动态更新 (#1079) 
问题：
clusterUrl动态更新可能会获取到错误的地址，导致请求connect集群相关信息失败；

解决：
去除动态更新，仅支持用户输入；

遗留：
前端需要支持用户输入；
 2023-07-05 11:55:16 +08:00
EricZeng
abaadfb9a8 [Optimize]Topic-Partitions增加主动超时功能 (#1076) 
问题：
leader=-1的分区获取offset信息时，耗时时间过久会导致前端超时，进而整个页面的数据都获取不到；

解决：
后端主动在前端超时前，对一些请求进行超时，避免导致所有的信息都没有返回给前端；
 2023-07-04 14:18:12 +08:00
EricZeng
d68a19679e [Optimize]Group列表的maxLag指标调整为实时获取 (#1074) 
1、增加调用的超时时间，在前端需要的超时时间内返回；
2、将Group列表的maxLag指标调整为实时获取；
 2023-07-03 14:37:35 +08:00
EricZeng
e98cfbcf91 [Bugfix]修复Connect-Worker Jmx不生效的问题 (#1067) 
1、FAQ中补充JMX连接失败的说明；
2、修复Connect-Worker Jmx不生效的问题；
 2023-06-28 15:59:13 +08:00
EricZeng
b34edb9b64 [Feature]新增删除Group或GroupOffset功能 (#1064) 
不包括前端，后端新增
1、新增Group删除功能；
2、新增Group-Topic纬度Offset删除功能；
3、新增Group-Topic-Partition纬度Offset删除功能；
 2023-06-27 14:32:57 +08:00
诸葛子房
c2bc0f788d [Feature]增加Truncate数据功能(#1062) 
增加Truncate数据功能(#1043)

目前已经完成后端部分，前端待补充。

---------

Co-authored-by: duanxiaoqiu <duanxiaoqiu@qiyi.com>
 2023-06-27 10:58:00 +08:00
ZQKC
e34e3f3e3d [Feature]支持指定Server的具体Jmx端口(#965) 
变更事项：
1、接入集群时，支持按照Broker粒度进行Jmx端口的配置；
2、设置Jmx端口的优先级为：指定Broker端口 》ZK中获取到的Broker端口 》指定Cluster端口；

补充说明：
1、该修改仅为后端修改，产品上暂未进行修改；
 2023-06-02 14:27:19 +08:00
ZQKC
7bfe787e39 [Bugfix]修复zk standalone状态不兼容问题 2023-05-19 11:48:50 +08:00
ZQKC
db044caf8b [Optimize]Group元信息更新优化(#1005) 
1、Group元信息未变化时，则不进行updateById操作；
2、失效的Group信息直接删除；
 2023-04-26 22:50:16 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00
ZQKC
c71865f623 [Bugfix]修复ZK四字命令解析错误的问题 
1、四字命令结果为Float类型的字符串时，使用Long.valueOf()会抛出格式转换失败异常。因此为了方便处理，将使用ConvertUtil.string2Float()方法进行转换。
2、规范调整过程中，涉及到的代码。
 2023-03-17 20:15:05 +08:00
wyb
793c780015 [Bugfix]修复mm2列表请求超时(#949) 
调整代码结构
 2023-02-23 11:17:48 +08:00
Luckywustone
2d99aae779 [Bugfix]ZK健康巡检日志不清晰导致问题难定位 #904 
[Bugfix]ZK健康巡检日志不清晰导致问题难定位 #904
 2023-02-22 13:41:02 +08:00
zengqiao
91c60ce72c [Bugfix]修复新接入的集群，Controller-Host不显示的问题(#927) 
问题原因：
1、新接入的集群，DB中暂未存储Broker信息，因此在存储Controller至DB时，查询DB中的Broker会查询为空。

解决方式：
1、存储Controller至DB前，主动获取一次Broker的信息。
 2023-02-21 10:39:46 +08:00
slhu
eed9571ffa [Bugfix]解决在解析命令执行后返回指标的值时发生的数据类型转换错误与指标存储上报时报空指针的问题(#912) 
1.zk_min_latency、zk_max_latency指标数据类型变更为float
2.使用ConvertUtil.string2Float()方法进行string到float到类型转换
 2023-02-15 16:20:39 +08:00
fengqiongfeng
98a5c7b776 [Optimize]健康检查日志优化(#869) 2023-02-10 11:02:24 +08:00
zengqiao
4c5ffccc45 [Optimize]删除无效代码 2023-02-09 17:00:50 +08:00
zengqiao
e5c6d00438 [Feature]MM2管理-补充集群Group列表信息(#894) 2023-02-09 16:59:38 +08:00
zengqiao
add2af4f3f [Feature]MM2管理-MM2管理相关服务类(#894) 2023-02-09 16:59:38 +08:00
zengqiao
5bd93aa478 [Bugfix]修复正常情况下，集群状态统计错误的问题(#865) 2023-02-09 16:44:26 +08:00
zengqiao
5110b30f62 [Feature]MM2管理-MM2健康巡检(#894) 2023-02-09 15:36:35 +08:00
zengqiao
861faa5df5 [Feature]HA-镜像Topic管理(#899) 
1、底层Kafka需要是滴滴版本的Kafka；
2、新增镜像Topic的增删改查；
3、新增镜像Topic的指标查看；
 2023-02-09 15:21:23 +08:00
zengqiao
caccf9cef5 [Feature]MM2管理-采集MM2指标任务(#894) 2023-02-09 14:58:34 +08:00
zengqiao
6ba3dceb84 [Feature]MM2管理-采集MM2指标(#894) 2023-02-09 14:58:34 +08:00
zengqiao
346aee8fe7 [Bugfix]修复Topic指标大盘获取TopN指标存在错误的问题(#896) 
1、将ES排序调整为基于本地cache的排序；
2、将database的本地cache从core模块移动到persistence模块；
 2023-02-09 14:20:02 +08:00
_haoqi
256f770971 [Feature]Support running tests with testcontainers(#870) 2023-02-08 14:56:44 +08:00
zengqiao
dd6004b9d4 [Bugfix]修复采集副本指标时，参数传递错误问题(#867) 2023-01-11 18:00:21 +08:00
zengqiao
f4a219ceef [Optimize]去除Replica指标从ES读写的相关代码(#862) 2023-01-09 14:57:38 +08:00
zengqiao
2925a20e8e [Bugfix]修复查看消息时，选择分区不生效问题(#858) 2023-01-09 13:38:10 +08:00
zengqiao
17e0c39f83 [Optimize]优化Topic健康巡检的日志(#855) 2023-01-06 14:42:08 +08:00
zengqiao
4994639111 [Optimize]无ZK模块时，巡检详情忽略对ZK的展示(#764) 2023-01-04 10:32:18 +08:00
wyb
c187b5246f [Bugfix]修复connector指标筛选缺少指标的问题(#846) 2022-12-23 16:19:34 +08:00
wyb
0735b332a8 [Bugfix]修复函数映射错误(#842) 2022-12-22 08:48:59 +08:00
wyb
344cec19fe [Bugfix]connector指标采集算最大值错误(#836) 2022-12-20 09:50:42 +08:00
zengqiao
cd2c388e68 [Optimize]优化Sonar代码扫描结果 2022-12-14 14:07:30 +08:00
wyb
4543a339b7 [Bugfix]修复job更新中的数组越界报错(#744) 2022-12-14 13:56:29 +08:00
zengqiao
1c4fbef9f2 [Feature]支持拆分API服务和Job服务部署(#829) 
1、JMX检查功能是每一个KS都必须要有的，因此从Task模块移动到Core模块；
2、application.yml中补充Task模块任务的整体开关字段；
 2022-12-09 16:11:03 +08:00
zengqiao
b2f0f69365 [Optimize]Overview页面的TopN查询ES流程优化(#823) 
1、复用线程池，同时支持线程池的线程数可配置；
2、优化查询TopN指标时，可能会出现重复查询的问题；
3、处理代码扫描(SonarLint)反馈的问题；
 2022-12-09 14:39:17 +08:00
wyb
c4fb18a73c [Bugfix]修复迁移任务状态不一致问题(#815) 2022-12-08 17:13:14 +08:00
zengqiao
f3c4133cd2 [Bugfix]分批从ES查询Topic最近一条指标(#817) 2022-12-07 16:15:01 +08:00
zengqiao
e8652d5db5 Connect相关代码 2022-12-07 10:20:02 +08:00
zengqiao
0123ce4a5a 优化Broker列表JMX端口的返回值 2022-12-06 16:47:07 +08:00