8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

45 Commits

Author SHA1 Message Date
EricZeng
d1417bef8c [Bugfix]修复删除Kafka集群后，Connect集群任务出现NPE问题 (#1129) 
原因：

首先，删除Kafka集群后，没有将DB中的Connect集群进行删除。随后，进行Connect集群指标采集时，由于所在的Kafka集群已经不存在了。最终，导致NPE；

解决：
发布一个Kafka集群删除事件，触发MetaDataService子类，将其在DB中的数据进行删除。

遗留：

当前MetaDataService仅在部分元信息同步类中实现，导致当前DB中的脏数据清理不彻底，后续等MetaDataService在所有元信息同步类中实现后，便可彻底清理数据。

PS：当前修复已保证NPE问题不会再出现。
 2023-08-16 10:54:58 +08:00
EricZeng
a7309612d5 [Optimize]统一DB元信息更新格式-Part2 (#1127) 
1、KafkaMetaService修改为MetaService并移动到Core层；
2、修改ZK、KafkaACL的格式；
 2023-08-15 18:46:41 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125) 
1、引入KafkaMetaService；
2、将Connector的更新按照KafkaMetaService进行更新；
3、简化Connect-MirrorMaker的关联逻辑；
4、GroupService创建的AdminClient中的ClientID增加时间戳，减少Mbean冲突；
 2023-08-15 14:24:23 +08:00
EricZeng
0cd071c5c6 [Optimize]去除对Connect集群的clusterUrl的动态更新 (#1079) 
问题：
clusterUrl动态更新可能会获取到错误的地址，导致请求connect集群相关信息失败；

解决：
去除动态更新，仅支持用户输入；

遗留：
前端需要支持用户输入；
 2023-07-05 11:55:16 +08:00
EricZeng
e98cfbcf91 [Bugfix]修复Connect-Worker Jmx不生效的问题 (#1067) 
1、FAQ中补充JMX连接失败的说明；
2、修复Connect-Worker Jmx不生效的问题；
 2023-06-28 15:59:13 +08:00
ZQKC
db044caf8b [Optimize]Group元信息更新优化(#1005) 
1、Group元信息未变化时，则不进行updateById操作；
2、失效的Group信息直接删除；
 2023-04-26 22:50:16 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00
zengqiao
91c60ce72c [Bugfix]修复新接入的集群，Controller-Host不显示的问题(#927) 
问题原因：
1、新接入的集群，DB中暂未存储Broker信息，因此在存储Controller至DB时，查询DB中的Broker会查询为空。

解决方式：
1、存储Controller至DB前，主动获取一次Broker的信息。
 2023-02-21 10:39:46 +08:00
zengqiao
fbcf58e19c [Feature]MM2管理-Connector元信息管理优化(#894) 2023-02-09 16:59:38 +08:00
zengqiao
f95be2c1b3 [Optimize]TaskResult增加返回任务分组信息 2023-02-09 16:36:19 +08:00
zengqiao
5110b30f62 [Feature]MM2管理-MM2健康巡检(#894) 2023-02-09 15:36:35 +08:00
zengqiao
6ba3dceb84 [Feature]MM2管理-采集MM2指标(#894) 2023-02-09 14:58:34 +08:00
zengqiao
1c4fbef9f2 [Feature]支持拆分API服务和Job服务部署(#829) 
1、JMX检查功能是每一个KS都必须要有的，因此从Task模块移动到Core模块；
2、application.yml中补充Task模块任务的整体开关字段；
 2022-12-09 16:11:03 +08:00
zengqiao
6aefc16fa0 增加Connect相关任务 2022-12-07 10:20:02 +08:00
zengqiao
e8652d5db5 Connect相关代码 2022-12-07 10:20:02 +08:00
zengqiao
3a3141a361 调整ZK指标的采集时间 2022-12-06 16:40:52 +08:00
zengqiao
7176e418f5 [Optimize]优化健康巡检相关指标的计算(#726) 
1、增加缓存，减少健康状态指标计算时的IO；
2、健康巡检调整为按照资源维度并发处理；
3、明确HealthCheckResultService和HealthStateService的功能边界；
 2022-12-05 16:26:31 +08:00
zengqiao
0f8be4fadc [Optimize]优化日志输出 & 本地缓存统一管理(#800) 2022-12-05 14:04:19 +08:00
zengqiao
7066246e8f [Optimize]错开采集任务触发时间，降低Offset信息获取时超时情况的发生(#726) 
当前指标采集任务都是整分钟触发执行的，导致会同时向Kafka请求分区Offset信息，会导致：
1、请求过多，从而出现超时；
2、同时进行，可能会导致分区重复获取Offset信息；

因此将其错开。
 2022-12-05 13:49:35 +08:00
zengqiao
4293d05fca [Optimize]优化Topic元信息更新策略(#806) 2022-12-04 17:55:27 +08:00
zengqiao
2c82baf9fc [Optimize]指标采集性能优化-part1(#726) 2022-12-04 15:41:48 +08:00
zengqiao
fab41e892f [Optimize]日志统一格式&优化输出内容-part3(#800) 2022-12-02 15:14:21 +08:00
zengqiao
feb03aede6 [Optimize]优化线程池的名称(#789) 2022-11-28 15:11:54 +08:00
zengqiao
7661826ea5 [Optimize]健康巡检增加ClusterParam, 从而拆分Kafka和Connect相关的巡检任务 2022-11-10 16:24:39 +08:00
zengqiao
da0a97cabf [Optimize] 调整Task代码结构为Connector功能做准备 2022-11-09 10:28:52 +08:00
zengqiao
dd5869e246 [Optimize] 调整代码结构，为Connect功能做准备 2022-11-07 10:13:26 +08:00
zengqiao
7d045dbf05 补充ZK健康巡检任务 2022-10-29 13:55:07 +08:00
zengqiao
0e71ecc587 延长健康检查结果过期时间 2022-10-29 13:55:07 +08:00
zengqiao
cafd665a2d [Optimize] 删除Replica指标采集任务 
1、当集群存在较多副本时，指标采集的性能会严重降低；
2、Replica的指标基本上都是在实时获取时才需要，因此当前先将Replica指标采集任务关闭，后续依据产品需要再看是否开启；
 2022-10-21 11:49:58 +08:00
zengqiao
79864955e1 [Feature] 集群Group列表按照Group维度进行展示 (#580) 2022-10-20 13:29:43 +08:00
Richard
39b655bb43 fix issue: 
* [issue #662] Fix deadlocks caused by adding data using MySQL's REPLACE method
 2022-10-14 14:03:16 +08:00
zengqiao
2b600e96eb 健康检查任务优化 2022-10-12 16:41:27 +08:00
zengqiao
b4cc31c459 ZK-指标采集入ES 2022-10-08 15:31:59 +08:00
zengqiao
7d781712c9 ZK-同步ZK元信息至DB 2022-10-08 15:19:09 +08:00
zengqiao
9d33c725ad [ISSUE-624]过滤掉不存在的Topic(#624) 
同步Group元信息时，如果Topic已经不存在了，则过滤掉该Group+Topic信息
 2022-09-28 10:39:33 +08:00
zengqiao
5ef5f6e531 健康巡检任务按照类型进行拆分 2022-09-26 20:10:49 +08:00
zengqiao
b4d44ef8c7 DB中Group信息的更新方式，由replace调整为insert或update 2022-09-23 17:02:25 +08:00
zengqiao
833c360698 bump oshi-core version to 5.6.1 2022-09-22 11:17:59 +08:00
zengqiao
5d412890b4 调整超时时间配置 2022-09-15 11:31:25 +08:00
zengqiao
de977a5b32 加快添加集群后的信息获取的速度 2022-09-08 14:21:26 +08:00
zengqiao
703d685d59 Task任务分为metrics,common,metaddata三类，每一类任务的执行对应一个线程池，减少对Job模块线程池的依赖 2022-09-08 14:17:15 +08:00
zengqiao
9eadafe850 健康巡检交由KS线程进行执行 2022-09-03 08:32:33 +08:00
zengqiao
7da712fcff 文案错误订正 2022-09-02 14:56:11 +08:00
zengqiao
e1514c901b 同步代码 2022-08-23 19:01:53 +08:00
zengqiao
51832385b1 初始化3.0.0版本 2022-08-18 17:04:05 +08:00