8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

60 Commits

Author SHA1 Message Date
ruanliang-hualun
a4085adf10 [Bugfix]fix Topic level metric query 2024-10-07 20:51:22 +08:00
EricZeng
db40a5cd0a [Optimize]增加AdminClient观测信息 (#1111) 
1、增加AdminClient的ClientID；
2、关闭时，增加超时时间；
3、增加关闭错误的日志；
 2023-08-02 21:19:03 +08:00
EricZeng
55161e439a [Optimize]增加Connector运行状态指标 (#1110) 
1、增加Connector运行状态指标；
2、将Connector指标上报普罗米修斯；
3、调整代码继承关系；
 2023-08-02 21:07:45 +08:00
EricZeng
90e5492060 [Bugfix]增加查看User密码的权限点 (#1095) 
仅后端增加，前端相关代码暂未补充
 2023-07-18 14:25:26 +08:00
EricZeng
dd3dcd37e9 [Feature]新增Group及GroupOffset删除功能Part2 (#1084) 
1、修复版本控制错误的问题；
2、增加相关权限点；

PS：仅后端代码，前端待补充。
 2023-07-06 15:42:18 +08:00
EricZeng
0a6e9b7633 [Optimize]Jmx相关日志优化 (#1082) 
1、统一Jmx客户端相关日志格式；
2、增加创建的Jmx-Connector时，所使用的信息；
3、优化日志级别；
 2023-07-06 15:39:51 +08:00
EricZeng
c11aa4fd17 [Bugfix]修复Security模块，后端权限点缺失问题 (#1069) 
1、补充Security模块-ACL相关权限点；
2、补充Security模块-User相关权限点；
 2023-06-29 21:36:58 +08:00
EricZeng
0140b2e898 [Optimize]Connector增加重启、编辑、删除等权限点 (#1066) 2023-06-27 16:46:47 +08:00
ZQKC
e34e3f3e3d [Feature]支持指定Server的具体Jmx端口(#965) 
变更事项：
1、接入集群时，支持按照Broker粒度进行Jmx端口的配置；
2、设置Jmx端口的优先级为：指定Broker端口 》ZK中获取到的Broker端口 》指定Cluster端口；

补充说明：
1、该修改仅为后端修改，产品上暂未进行修改；
 2023-06-02 14:27:19 +08:00
Richard
ffc115cb76 [Bugfix]修复es索引create/delete死循环问题 (#1021) 2023-05-30 18:03:03 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00
ZQKC
13641c00ba [Bugfix]修复Broker元信息解析方法未调用导致接入集群失败的问题(#986) 2023-04-04 12:20:44 +08:00
shizeying
03f81bc6de [Bugfix]删除idx_cluster_phy_id 索引并新增idx_cluster_update_time索引(#918) 2023-02-15 17:45:53 +08:00
zengqiao
b5683b73c2 [Optimize]优化 MySQL & ES 测试容器的初始化(#906) 
主要的变更
1、knowstreaming/knowstreaming-manager 容器；
2、knowstreaming/knowstreaming-mysql 容器调整为使用 mysql:5.7 容器；
3、初始化 mysql:5.7 容器后，增加初始化 MySQL 表及数据的动作；

被影响的变更：
1、移动 km-dist/init/sql 下的MySQL初始化脚本至 km-persistence/src/main/resource/sql 下，以便项目测试时加载到所需的初始化 SQL；
2、删除无用的 km-dist/init/template 目录；
3、因为 km-dist/init/sql 和 km-dist/init/template 目录的调整，因此也调整 ReleaseKnowStreaming.xml 内的文件内容；
 2023-02-13 10:33:40 +08:00
zengqiao
4c5ffccc45 [Optimize]删除无效代码 2023-02-09 17:00:50 +08:00
zengqiao
861faa5df5 [Feature]HA-镜像Topic管理(#899) 
1、底层Kafka需要是滴滴版本的Kafka；
2、新增镜像Topic的增删改查；
3、新增镜像Topic的指标查看；
 2023-02-09 15:21:23 +08:00
zengqiao
9b7c41e804 [Feature]MM2管理-读写ES中的MM2指标(#894) 2023-02-09 14:58:34 +08:00
zengqiao
346aee8fe7 [Bugfix]修复Topic指标大盘获取TopN指标存在错误的问题(#896) 
1、将ES排序调整为基于本地cache的排序；
2、将database的本地cache从core模块移动到persistence模块；
 2023-02-09 14:20:02 +08:00
_haoqi
256f770971 [Feature]Support running tests with testcontainers(#870) 2023-02-08 14:56:44 +08:00
zengqiao
ac7c32acd5 [Optimize]优化ES索引及模版的初始化文档(#832) 
1、订正不同地方索引模版的shard数存在不一致的问题；
2、删除多余的template.sh，统一使用init_es_template.sh；
3、init_es_template.sh中，增加connect相关索引模版的初始化脚本，删除replica 和 zookeper索引模版的初始化脚本；
 2023-01-09 15:18:41 +08:00
zengqiao
f4a219ceef [Optimize]去除Replica指标从ES读写的相关代码(#862) 2023-01-09 14:57:38 +08:00
zengqiao
6b3eb05735 [Bugfix]修复对ZK客户端进行配置后不生效的问题(#694) 
1、修复在ks_km_physical_cluster表的zk_properties字段填写ZK 客户端的相关配置后，不生效的问题。
2、删除zk_properties字段中，暂时无需使用的jmxConfig字段。
 2023-01-09 10:44:35 +08:00
zengqiao
b2f0f69365 [Optimize]Overview页面的TopN查询ES流程优化(#823) 
1、复用线程池，同时支持线程池的线程数可配置；
2、优化查询TopN指标时，可能会出现重复查询的问题；
3、处理代码扫描(SonarLint)反馈的问题；
 2022-12-09 14:39:17 +08:00
zengqiao
f3c4133cd2 [Bugfix]分批从ES查询Topic最近一条指标(#817) 2022-12-07 16:15:01 +08:00
zengqiao
e8652d5db5 Connect相关代码 2022-12-07 10:20:02 +08:00
zengqiao
249fe7c700 调整ES相关文件位置 & 补充connectESDAO相关类 2022-12-07 10:20:02 +08:00
zengqiao
c3d47d3093 池化KafkaAdminClient，避免KafkaAdminClient出现性能问题 2022-12-06 16:46:11 +08:00
zengqiao
0f8be4fadc [Optimize]优化日志输出 & 本地缓存统一管理(#800) 2022-12-05 14:04:19 +08:00
zengqiao
4293d05fca [Optimize]优化Topic元信息更新策略(#806) 2022-12-04 17:55:27 +08:00
zengqiao
fab41e892f [Optimize]日志统一格式&优化输出内容-part3(#800) 2022-12-02 15:14:21 +08:00
zengqiao
6241eb052a [Bugfix]修复KafkaJMXClient类中logger错误的问题(#794) 2022-11-30 11:15:00 +08:00
zengqiao
5127b600ec [Optimize]优化ESClient的并发访问控制(#787) 2022-11-29 10:47:57 +08:00
zengqiao
e456be91ef [Bugfix]集群JMX配置发生变更时，进行JMX的重新加载 2022-11-10 16:04:40 +08:00
zengqiao
c1031a492a [Optimize]增加ES索引删除的功能 2022-11-09 10:28:52 +08:00
night.liang
5c9096d564 [Bugfix] fix replica dsl (#708) 2022-11-01 10:45:59 +08:00
_haoqi
4510c62ebd [ISSUE #677] 重启会导致部分信息采集抛出空指针 2022-10-20 15:36:32 +08:00
zengqiao
79864955e1 [Feature] 集群Group列表按照Group维度进行展示 (#580) 2022-10-20 13:29:43 +08:00
Richard
39b655bb43 fix issue: 
* [issue #662] Fix deadlocks caused by adding data using MySQL's REPLACE method
 2022-10-14 14:03:16 +08:00
zengqiao
780fdea2cc 修复获取TopN的Broker指标时，会出现部分指标缺失的问题 2022-10-11 16:54:39 +08:00
zengqiao
e79342acf5 修复DSL错误导致ZK指标查询失败问题 2022-10-10 19:19:05 +08:00
EricZeng
b3e8a4f0f6 Merge pull request #647 from didi/dev 
合并DEV分支
 2022-10-09 16:54:45 +08:00
EricZeng
224698355c 恢复为原先代码 
恢复为原先代码
 2022-10-09 10:38:36 +08:00
EricZeng
63df93ea5e Merge pull request #608 from luhea/dev_feature_zk_kerberos 
Add zk supported kerberos
 2022-10-08 16:11:37 +08:00
zengqiao
b4cc31c459 ZK-指标采集入ES 2022-10-08 15:31:59 +08:00
zengqiao
7d781712c9 ZK-同步ZK元信息至DB 2022-10-08 15:19:09 +08:00
zengqiao
95f1a2c630 修复自动创建ES索引模版失败问题 2022-09-28 19:46:07 +08:00
zengqiao
1e256ae1fd 修复自动创建ES索引模版失败问题 2022-09-28 19:44:33 +08:00
zengqiao
0f07ddedaf [ISSUE-598]Fix start_time not set when create reassign job in MySQL-8 2022-09-28 10:24:32 +08:00
zengqiao
c1992373bc 集群信息中，补充ZK配置字段 2022-09-26 11:10:38 +08:00
zengqiao
725ac10c3d 1、调整KafkaZKDao位置；2、offset信息获取时，过滤掉无leader分区；3、调整验证ZK是否合法时的session超时时间 2022-09-22 11:30:46 +08:00