8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

106 Commits

Author SHA1 Message Date
EricZeng
610af4a9e8 [Optimize]补充Kafka版本列表 (#1204) 
仅补充版本列表，版本新增特效后续按需补充。

Co-authored-by: qiao.zeng <qiao.zeng@ingeek.com>
 2023-12-03 12:52:52 +08:00
EricZeng
d1417bef8c [Bugfix]修复删除Kafka集群后，Connect集群任务出现NPE问题 (#1129) 
原因：

首先，删除Kafka集群后，没有将DB中的Connect集群进行删除。随后，进行Connect集群指标采集时，由于所在的Kafka集群已经不存在了。最终，导致NPE；

解决：
发布一个Kafka集群删除事件，触发MetaDataService子类，将其在DB中的数据进行删除。

遗留：

当前MetaDataService仅在部分元信息同步类中实现，导致当前DB中的脏数据清理不彻底，后续等MetaDataService在所有元信息同步类中实现后，便可彻底清理数据。

PS：当前修复已保证NPE问题不会再出现。
 2023-08-16 10:54:58 +08:00
EricZeng
a7309612d5 [Optimize]统一DB元信息更新格式-Part2 (#1127) 
1、KafkaMetaService修改为MetaService并移动到Core层；
2、修改ZK、KafkaACL的格式；
 2023-08-15 18:46:41 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125) 
1、引入KafkaMetaService；
2、将Connector的更新按照KafkaMetaService进行更新；
3、简化Connect-MirrorMaker的关联逻辑；
4、GroupService创建的AdminClient中的ClientID增加时间戳，减少Mbean冲突；
 2023-08-15 14:24:23 +08:00
EricZeng
55161e439a [Optimize]增加Connector运行状态指标 (#1110) 
1、增加Connector运行状态指标；
2、将Connector指标上报普罗米修斯；
3、调整代码继承关系；
 2023-08-02 21:07:45 +08:00
EricZeng
0a6e9b7633 [Optimize]Jmx相关日志优化 (#1082) 
1、统一Jmx客户端相关日志格式；
2、增加创建的Jmx-Connector时，所使用的信息；
3、优化日志级别；
 2023-07-06 15:39:51 +08:00
EricZeng
bd58b48bcb [Optimize]Connector增改接口的configs字段名调整为config (#1080) 
1、保持和原生一致；
2、当前是兼容状态，可同时支持configs和config；
 2023-07-05 13:43:19 +08:00
EricZeng
0cd071c5c6 [Optimize]去除对Connect集群的clusterUrl的动态更新 (#1079) 
问题：
clusterUrl动态更新可能会获取到错误的地址，导致请求connect集群相关信息失败；

解决：
去除动态更新，仅支持用户输入；

遗留：
前端需要支持用户输入；
 2023-07-05 11:55:16 +08:00
EricZeng
49e7fea6d3 [Optimize]Topic-Messages页面后端增加按照Partition和Offset纬度的排序 (#1075) 2023-07-03 15:33:15 +08:00
EricZeng
b34edb9b64 [Feature]新增删除Group或GroupOffset功能 (#1064) 
不包括前端，后端新增
1、新增Group删除功能；
2、新增Group-Topic纬度Offset删除功能；
3、新增Group-Topic-Partition纬度Offset删除功能；
 2023-06-27 14:32:57 +08:00
诸葛子房
c2bc0f788d [Feature]增加Truncate数据功能(#1062) 
增加Truncate数据功能(#1043)

目前已经完成后端部分，前端待补充。

---------

Co-authored-by: duanxiaoqiu <duanxiaoqiu@qiyi.com>
 2023-06-27 10:58:00 +08:00
ZQKC
e34e3f3e3d [Feature]支持指定Server的具体Jmx端口(#965) 
变更事项：
1、接入集群时，支持按照Broker粒度进行Jmx端口的配置；
2、设置Jmx端口的优先级为：指定Broker端口 》ZK中获取到的Broker端口 》指定Cluster端口；

补充说明：
1、该修改仅为后端修改，产品上暂未进行修改；
 2023-06-02 14:27:19 +08:00
ZQKC
7bfe787e39 [Bugfix]修复zk standalone状态不兼容问题 2023-05-19 11:48:50 +08:00
ZQKC
2256e8bbdb [Bugfix]修复Connect-GroupDescription解析失败的问题(#1010) 
1、先尝试使用IncrementalCooperativeConnectProtocol协议进行解析；
2、IncrementalCooperativeConnectProtocol协议解析失败后，再维持原先的情况，使用ConnectProtocol协议进行解析；
 2023-05-16 12:34:58 +08:00
ZQKC
db044caf8b [Optimize]Group元信息更新优化(#1005) 
1、Group元信息未变化时，则不进行updateById操作；
2、失效的Group信息直接删除；
 2023-04-26 22:50:16 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00
ZQKC
769c2c0fbc [Bugfix]修复ConsumerAssignment类型转换错误的问题 
1、问题
KSGroupDescription 的 KSMemberBaseAssignment 对象，转 KSMemberConsumerAssignment 时，会出现转换失败的错误。

2、原因
KSPartialKafkaAdminClient 在返回 KSMemberDescription 时，当 ConsumerGroup 的 memberAssignment.length() <= 0 时，遗漏对 memberBaseAssignment 对象进行初始化。

3、解决
发现 memberAssignment.length() <= 0 时，主动将 KSMemberDescription 中的 memberBaseAssignment 赋值为 KSMemberConsumerAssignment 对象。
 2023-03-17 20:35:35 +08:00
ZQKC
c71865f623 [Bugfix]修复ZK四字命令解析错误的问题 
1、四字命令结果为Float类型的字符串时，使用Long.valueOf()会抛出格式转换失败异常。因此为了方便处理，将使用ConvertUtil.string2Float()方法进行转换。
2、规范调整过程中，涉及到的代码。
 2023-03-17 20:15:05 +08:00
slhu
eed9571ffa [Bugfix]解决在解析命令执行后返回指标的值时发生的数据类型转换错误与指标存储上报时报空指针的问题(#912) 
1.zk_min_latency、zk_max_latency指标数据类型变更为float
2.使用ConvertUtil.string2Float()方法进行string到float到类型转换
 2023-02-15 16:20:39 +08:00
zengqiao
f03460f3cd [Bugfix]修复 Broker Similar Config 显示错误的问题(#872) 2023-02-13 11:22:13 +08:00
zengqiao
e5c6d00438 [Feature]MM2管理-补充集群Group列表信息(#894) 2023-02-09 16:59:38 +08:00
zengqiao
ab6a4d7099 [Feature]MM2管理-MM2管理相关接口类(#894) 2023-02-09 16:59:38 +08:00
zengqiao
235c0ed30e [Feature]MM2管理-MM2管理相关实体类(#894) 2023-02-09 16:59:38 +08:00
zengqiao
5110b30f62 [Feature]MM2管理-MM2健康巡检(#894) 2023-02-09 15:36:35 +08:00
zengqiao
861faa5df5 [Feature]HA-镜像Topic管理(#899) 
1、底层Kafka需要是滴滴版本的Kafka；
2、新增镜像Topic的增删改查；
3、新增镜像Topic的指标查看；
 2023-02-09 15:21:23 +08:00
zengqiao
efdf624c67 [Feature]HA-滴滴Kafka版本信息兼容(#899) 2023-02-09 15:21:23 +08:00
zengqiao
caccf9cef5 [Feature]MM2管理-采集MM2指标任务(#894) 2023-02-09 14:58:34 +08:00
zengqiao
6ba3dceb84 [Feature]MM2管理-采集MM2指标(#894) 2023-02-09 14:58:34 +08:00
zengqiao
9b7c41e804 [Feature]MM2管理-读写ES中的MM2指标(#894) 2023-02-09 14:58:34 +08:00
_haoqi
256f770971 [Feature]Support running tests with testcontainers(#870) 2023-02-08 14:56:44 +08:00
zengqiao
f4a219ceef [Optimize]去除Replica指标从ES读写的相关代码(#862) 2023-01-09 14:57:38 +08:00
zengqiao
6b3eb05735 [Bugfix]修复对ZK客户端进行配置后不生效的问题(#694) 
1、修复在ks_km_physical_cluster表的zk_properties字段填写ZK 客户端的相关配置后，不生效的问题。
2、删除zk_properties字段中，暂时无需使用的jmxConfig字段。
 2023-01-09 10:44:35 +08:00
zengqiao
4994639111 [Optimize]无ZK模块时，巡检详情忽略对ZK的展示(#764) 2023-01-04 10:32:18 +08:00
zengqiao
7db757bc12 [Optimize]优化Connector创建时的入参 
1、增加config.action.reload的默认值；
2、增加errors.tolerance的默认值；
 2022-12-14 14:12:32 +08:00
wyb
4543a339b7 [Bugfix]修复job更新中的数组越界报错(#744) 2022-12-14 13:56:29 +08:00
zengqiao
b2f0f69365 [Optimize]Overview页面的TopN查询ES流程优化(#823) 
1、复用线程池，同时支持线程池的线程数可配置；
2、优化查询TopN指标时，可能会出现重复查询的问题；
3、处理代码扫描(SonarLint)反馈的问题；
 2022-12-09 14:39:17 +08:00
zengqiao
f3c4133cd2 [Bugfix]分批从ES查询Topic最近一条指标(#817) 2022-12-07 16:15:01 +08:00
zengqiao
e8652d5db5 Connect相关代码 2022-12-07 10:20:02 +08:00
zengqiao
fb5964af84 补充kafka-connect相关包 2022-12-07 10:20:02 +08:00
zengqiao
249fe7c700 调整ES相关文件位置 & 补充connectESDAO相关类 2022-12-07 10:20:02 +08:00
zengqiao
cc2a590b33 新增自定义的KSPartialKafkaAdminClient 
由于原生的KafkaAdminClient在解析Group时，会将Connect集群的Group过滤掉，因此自定义KSPartialKafkaAdminClient，使其具备获取Connect Group的能力
 2022-12-07 10:20:02 +08:00
zengqiao
4386563c2c 调整指标采集的默认耗时值，以便在查看Top指标时即可看到 2022-12-06 16:47:53 +08:00
zengqiao
0123ce4a5a 优化Broker列表JMX端口的返回值 2022-12-06 16:47:07 +08:00
zengqiao
7176e418f5 [Optimize]优化健康巡检相关指标的计算(#726) 
1、增加缓存，减少健康状态指标计算时的IO；
2、健康巡检调整为按照资源维度并发处理；
3、明确HealthCheckResultService和HealthStateService的功能边界；
 2022-12-05 16:26:31 +08:00
zengqiao
0f8be4fadc [Optimize]优化日志输出 & 本地缓存统一管理(#800) 2022-12-05 14:04:19 +08:00
zengqiao
7d1bb48b59 [Optimize]ZK四字命令解析日志优化(#805) 
增加遗漏的指标名的处理，减少warn日志该部分的信息
 2022-12-05 13:39:26 +08:00
zengqiao
4293d05fca [Optimize]优化Topic元信息更新策略(#806) 2022-12-04 17:55:27 +08:00
zengqiao
2c82baf9fc [Optimize]指标采集性能优化-part1(#726) 2022-12-04 15:41:48 +08:00
zengqiao
e632c6c13f [Optimize]优化Sonar扫描结果 2022-12-02 15:34:28 +08:00
zengqiao
fab41e892f [Optimize]日志统一格式&优化输出内容-part3(#800) 2022-12-02 15:14:21 +08:00