8x48/KnowStreaming
1
0
Fork 0
mirror of https://github.com/didi/KnowStreaming.git synced 2025-12-24 03:42:07 +08:00
Code Issues Actions Packages Projects Releases Wiki Activity
1,379 Commits 34 Branches 24 Tags
master
Commit Graph

61 Commits

Author SHA1 Message Date
fang
68839a6725 [DOC]新增MySQL密码以加密方式存储并使用的文档 (#1135) 2023-12-10 01:15:46 +08:00
EricZeng
b6ea4aec19 [Optimize]GroupTopic信息修改为实时获取 (#1196) 2023-11-27 21:08:05 +08:00
erge
f6becbdf2c [Optimize]Connect 提交任务变更为只保存用户修改的配置,并修复JSON模式下配置展示不全(#1047) (#1158) 
请不要在没有先创建Issue的情况下创建Pull Request。

## 变更的目的是什么

优化Content新增/编辑

## 简短的更新日志

- [Bugfix] 自定义的高级配置项，在JSON模式下未显示这些配置(#1045)
- [Optimize] 提交任务后只保存用户修改的配置，而不是将所有配置都保存起来，目前不论用户有没有修改配置都保存了所有的配置(#1047)

## 验证这一变化

XXXX

请遵循此清单，以帮助我们快速轻松地整合您的贡献：

* [ ] 一个 PR（Pull Request的简写）只解决一个问题，禁止一个 PR 解决多个问题；
* [ ] 确保 PR 有对应的 Issue（通常在您开始处理之前创建），除非是书写错误之类的琐碎更改不需要 Issue ；
* [ ] 格式化 PR 及 Commit-Log 的标题及内容，例如 #861 。PS：Commit-Log 需要在 Git Commit
代码时进行填写，在 GitHub 上修改不了；
* [ ] 编写足够详细的 PR 描述，以了解 PR 的作用、方式和原因；
* [ ] 编写必要的单元测试来验证您的逻辑更正。如果提交了新功能或重大更改，请记住在 test 模块中添加 integration-test；
* [ ] 确保编译通过，集成测试通过；
 2023-10-20 09:28:52 +08:00
EricZeng
3b72f732be [Optimize]优化集群Brokers中, Controller显示存在延迟的问题 (#1162) 
优化方式：
从DB获取调整为从Kafka中实时获取。
 2023-09-27 14:05:45 +08:00
EricZeng
6e56688a31 [Optimize]统一DB元信息更新格式-Part1 (#1125) 
1、引入KafkaMetaService；
2、将Connector的更新按照KafkaMetaService进行更新；
3、简化Connect-MirrorMaker的关联逻辑；
4、GroupService创建的AdminClient中的ClientID增加时间戳，减少Mbean冲突；
 2023-08-15 14:24:23 +08:00
EricZeng
bd58b48bcb [Optimize]Connector增改接口的configs字段名调整为config (#1080) 
1、保持和原生一致；
2、当前是兼容状态，可同时支持configs和config；
 2023-07-05 13:43:19 +08:00
EricZeng
abaadfb9a8 [Optimize]Topic-Partitions增加主动超时功能 (#1076) 
问题：
leader=-1的分区获取offset信息时，耗时时间过久会导致前端超时，进而整个页面的数据都获取不到；

解决：
后端主动在前端超时前，对一些请求进行超时，避免导致所有的信息都没有返回给前端；
 2023-07-04 14:18:12 +08:00
EricZeng
d68a19679e [Optimize]Group列表的maxLag指标调整为实时获取 (#1074) 
1、增加调用的超时时间，在前端需要的超时时间内返回；
2、将Group列表的maxLag指标调整为实时获取；
 2023-07-03 14:37:35 +08:00
EricZeng
b34edb9b64 [Feature]新增删除Group或GroupOffset功能 (#1064) 
不包括前端，后端新增
1、新增Group删除功能；
2、新增Group-Topic纬度Offset删除功能；
3、新增Group-Topic-Partition纬度Offset删除功能；
 2023-06-27 14:32:57 +08:00
诸葛子房
c2bc0f788d [Feature]增加Truncate数据功能(#1062) 
增加Truncate数据功能(#1043)

目前已经完成后端部分，前端待补充。

---------

Co-authored-by: duanxiaoqiu <duanxiaoqiu@qiyi.com>
 2023-06-27 10:58:00 +08:00
ZQKC
62f870a342 [Optimize]优化pom.xml中，KS版本的标签名 
1、修改后，便于idea识别，否则会一直存在存在错误提示。
 2023-04-11 10:54:37 +08:00
zengqiao
b5683b73c2 [Optimize]优化 MySQL & ES 测试容器的初始化(#906) 
主要的变更
1、knowstreaming/knowstreaming-manager 容器；
2、knowstreaming/knowstreaming-mysql 容器调整为使用 mysql:5.7 容器；
3、初始化 mysql:5.7 容器后，增加初始化 MySQL 表及数据的动作；

被影响的变更：
1、移动 km-dist/init/sql 下的MySQL初始化脚本至 km-persistence/src/main/resource/sql 下，以便项目测试时加载到所需的初始化 SQL；
2、删除无用的 km-dist/init/template 目录；
3、因为 km-dist/init/sql 和 km-dist/init/template 目录的调整，因此也调整 ReleaseKnowStreaming.xml 内的文件内容；
 2023-02-13 10:33:40 +08:00
zengqiao
c062586c7e [Optimize]删除无用&多余的打包配置文件 2023-02-10 16:51:32 +08:00
zengqiao
e204023b1f [Feature]增加支持Topic复制的集群列表接口(#899) 2023-02-09 17:03:28 +08:00
zengqiao
e5c6d00438 [Feature]MM2管理-补充集群Group列表信息(#894) 2023-02-09 16:59:38 +08:00
zengqiao
ab6a4d7099 [Feature]MM2管理-MM2管理相关接口类(#894) 2023-02-09 16:59:38 +08:00
zengqiao
5bd93aa478 [Bugfix]修复正常情况下，集群状态统计错误的问题(#865) 2023-02-09 16:44:26 +08:00
zengqiao
5110b30f62 [Feature]MM2管理-MM2健康巡检(#894) 2023-02-09 15:36:35 +08:00
zengqiao
861faa5df5 [Feature]HA-镜像Topic管理(#899) 
1、底层Kafka需要是滴滴版本的Kafka；
2、新增镜像Topic的增删改查；
3、新增镜像Topic的指标查看；
 2023-02-09 15:21:23 +08:00
EricZeng
3ce4bf231a 修复条件判断错误问题 
Co-authored-by: haoqi123 <49672871+haoqi123@users.noreply.github.com>
 2023-02-09 11:28:26 +08:00
EricZeng
d046cb8bf4 修复条件判断错误问题 
Co-authored-by: haoqi123 <49672871+haoqi123@users.noreply.github.com>
 2023-02-09 11:28:26 +08:00
zengqiao
da95c63503 [Optimize]优化TestContainers相关依赖(#892) 
1、去除对mysql-connector-j的依赖；
2、整理代码；
 2023-02-09 11:28:26 +08:00
_haoqi
256f770971 [Feature]Support running tests with testcontainers(#870) 2023-02-08 14:56:44 +08:00
zengqiao
f4a219ceef [Optimize]去除Replica指标从ES读写的相关代码(#862) 2023-01-09 14:57:38 +08:00
zengqiao
4994639111 [Optimize]无ZK模块时，巡检详情忽略对ZK的展示(#764) 2023-01-04 10:32:18 +08:00
zengqiao
896a943587 [Optimize]缩短ES索引默认保存时间为15天 2022-12-14 14:10:46 +08:00
zengqiao
cd2c388e68 [Optimize]优化Sonar代码扫描结果 2022-12-14 14:07:30 +08:00
zengqiao
1c4fbef9f2 [Feature]支持拆分API服务和Job服务部署(#829) 
1、JMX检查功能是每一个KS都必须要有的，因此从Task模块移动到Core模块；
2、application.yml中补充Task模块任务的整体开关字段；
 2022-12-09 16:11:03 +08:00
zengqiao
b2f0f69365 [Optimize]Overview页面的TopN查询ES流程优化(#823) 
1、复用线程池，同时支持线程池的线程数可配置；
2、优化查询TopN指标时，可能会出现重复查询的问题；
3、处理代码扫描(SonarLint)反馈的问题；
 2022-12-09 14:39:17 +08:00
zengqiao
d9c59cb3d3 增加Connect Rest接口 2022-12-07 10:20:02 +08:00
zengqiao
e8652d5db5 Connect相关代码 2022-12-07 10:20:02 +08:00
wyb
36cf285397 [Bug]修复logi-securiy模块数据库选择错误(#808) 2022-12-06 20:02:49 +08:00
zengqiao
c3d47d3093 池化KafkaAdminClient，避免KafkaAdminClient出现性能问题 2022-12-06 16:46:11 +08:00
zengqiao
ca794f507e [Optimize]规范日志输出格式(#800) 
修改log输出配置，使其输出的日志中自带class={className}的信息，后续书写代码时，就无需书写该部分内容。
 2022-12-05 14:27:02 +08:00
zengqiao
5833a8644c [Optimize]关闭errorLogger，去除无用输出(#801) 2022-12-02 15:29:17 +08:00
zengqiao
fab41e892f [Optimize]日志统一格式&优化输出内容-part3(#800) 2022-12-02 15:14:21 +08:00
zengqiao
7a52cf67b0 [Optimize]日志统一格式&优化输出内容-part2(#800) 2022-12-02 15:01:24 +08:00
zengqiao
5127b600ec [Optimize]优化ESClient的并发访问控制(#787) 2022-11-29 10:47:57 +08:00
pen4
4b29a2fdfd update org.springframework:spring-context 5.3.18 to 5.3.19 2022-11-23 11:38:11 +08:00
zengqiao
c1031a492a [Optimize]增加ES索引删除的功能 2022-11-09 10:28:52 +08:00
zengqiao
bbe967c4a8 补充多集群健康状态概览信息 2022-10-29 13:55:07 +08:00
zengqiao
b101cec6fa 健康分调整为健康状态 2022-10-29 13:55:07 +08:00
Mengqi777
80f001cdd5 [ISSUE #723]Ignore error and continue to package km-rest if no git directory 2022-10-26 10:14:14 +08:00
zengqiao
cafd665a2d [Optimize] 删除Replica指标采集任务 
1、当集群存在较多副本时，指标采集的性能会严重降低；
2、Replica的指标基本上都是在实时获取时才需要，因此当前先将Replica指标采集任务关闭，后续依据产品需要再看是否开启；
 2022-10-21 11:49:58 +08:00
_haoqi
4510c62ebd [ISSUE #677] 重启会导致部分信息采集抛出空指针 2022-10-20 15:36:32 +08:00
zengqiao
79864955e1 [Feature] 集群Group列表按照Group维度进行展示 (#580) 2022-10-20 13:29:43 +08:00
zengqiao
a6dcbcd35b 删除未被使用的import 2022-10-12 16:43:16 +08:00
zengqiao
177bb80f31 application.yml文件中增加ES用户名密码的配置项 2022-10-12 16:36:04 +08:00
zengqiao
6c610427b6 ZK-增加ZK信息查询接口 2022-10-08 15:46:18 +08:00
zengqiao
66e119ad5d 增加字段校验注解 2022-09-28 20:16:06 +08:00