2023-02-22 17:07:58 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:35:43 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:35:43 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:48:59 +08:00
2020-03-23 12:06:42 +08:00
2020-03-19 17:59:34 +08:00
2023-02-13 16:48:59 +08:00
2023-02-13 16:35:43 +08:00
2022-01-24 13:30:48 +08:00


logikm_logo

一站式Apache Kafka集群指标监控与运维管控平台

LogiKM开源至今备受关注考虑到开源项目应该更贴合Apache Kafka未来发展方向经项目组慎重考虑预计22年下半年将其品牌升级成Know Streaming届时项目名称和Logo也将统一更新感谢大家一如既往的支持敬请期待

阅读本README文档您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息并通过体验地址快速体验Kafka集群指标监控与运维管控的全流程。

1 产品简介

滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时,还与多家知名企业达成商业化合作。

1.1 快速体验地址

1.2 体验地图

相比较于同类产品的用户视角单一大多为管理员视角滴滴Logi-KafkaManager建立了基于分角色、多场景视角的体验地图。分别是用户体验地图、运维体验地图、运营体验地图

1.2.1 用户体验地图

  • 平台租户申请  申请应用App作为Kafka中的用户名并用 AppID+password作为身份验证
  • 集群资源申请  :按需申请、按需使用。可使用平台提供的共享集群,也可为应用申请独立的集群
  • Topic   申   请  可根据应用App创建Topic或者申请其他topic的读写权限
  • Topic   运   维  Topic数据采样、调整配额、申请分区等操作
  • 指   标  监   控  基于Topic生产消费各环节耗时统计监控不同分位数性能指标
  • 消 费 组 运 维 :支持将消费偏移重置至指定时间或指定位置

1.2.2 运维体验地图

  • 多版本集群管控  :支持从0.10.22.x版本
  • 集    群    监   控  集群Topic、Broker等多维度历史与实时关键指标查看建立健康分体系
  • 集    群    运   维  划分部分Broker作为Region使用Region定义资源划分单位并按照业务、保障能力区分逻辑集群
  • Broker    运    维  包括优先副本选举等操作
  • Topic      运    维  包括创建、查询、扩容、修改属性、迁移、下线等

1.2.3 运营体验地图

  • 资  源  治  理  沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题沉淀资源治理方法实现资源治理专家化
  • 资  源  审  批  工单体系。Topic创建、调整配额、申请分区等操作由专业运维人员审批规范资源使用保障平台平稳运行
  • 账  单  体  系  成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用帮助企业建设大数据成本核算体系

1.3 核心优势

  • 高 效 的 问 题 定 位  :监控多项核心指标,统计不同分位数据,提供种类丰富的指标监控报表,帮助用户、运维人员快速高效定位问题
  • 便 捷 的 集 群 运 维  按照Region定义集群资源划分单位将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时实现对服务端的强管控
  • 专 业 的 资 源 治 理  基于滴滴内部多年运营实践沉淀资源治理方法建立健康分体系。针对Topic分区热点、分区不足等高频常见问题实现资源治理专家化
  • 友 好 的 运 维 生 态  :与滴滴夜莺监控告警系统打通,集成监控告警、集群部署、集群升级等能力。形成运维生态,凝练专家服务,使运维更高效

1.4 滴滴Logi-KafkaManager架构图

kafka-manager-arch

2 相关文档

2.1 产品文档

2.2 社区文章

3 滴滴Logi开源用户交流群

image

想跟各个大佬交流Kafka Es 等中间件/大数据相关技术请 加微信进群。

微信加群添加mike_zhangliang、danke-x的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"

4 知识星球

image
我们正在组建国内最大最权威的
【Kafka中文社区】

在这里你可以结交各大互联网Kafka大佬以及3000+Kafka爱好者一起实现知识共享实时掌控最新行业资讯期待您的加入中https://z.didi.cn/5gSF9

有问必答~

互动有礼~

PS:提问请尽量把问题一次性描述清楚,并告知环境信息情况哦~!如使用版本、操作步骤、报错/警告信息等方便大V们快速解答

5 项目成员

5.1 内部核心人员

iceyuhuiliuyaguanglimengmontyzhangliangmikezhaoqingrongxiepengnullhuangyimingzengqiaoeilenexuzhehuangjiaweihjwzhaoyinruimarzkonglingxujoysunchao石臻臻

5.2 外部贡献者

fangjunyuzhoutaiyang

6 协议

LogiKM基于Apache-2.0协议进行分发和使用,更多信息参见协议文件

Description
一站式云原生实时流数据平台,通过0侵入、插件化构建企业级Kafka服务,极大降低操作、存储和管理实时流数据门槛
Readme AGPL-3.0 197 MiB
Languages
Java 65.2%
TypeScript 28.4%
Less 3.2%
Shell 1.2%
Python 1%
Other 1%