mirror of
https://github.com/didi/KnowStreaming.git
synced 2025-12-24 20:22:12 +08:00
103 lines
6.8 KiB
Markdown
103 lines
6.8 KiB
Markdown
|
||
---
|
||
|
||
|
||
|
||
**一站式`Apache Kafka`集群指标监控与运维管控平台**
|
||
|
||
|
||
|
||
阅读本README文档，您可以了解到滴滴Logi-KafkaManager的用户群体、产品定位等信息，并通过体验地址，快速体验Kafka集群指标监控与运维管控的全流程。
|
||
|
||
|
||
## 1 产品简介
|
||
滴滴Logi-KafkaManager脱胎于滴滴内部多年的Kafka运营实践经验，是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台。专注于Kafka运维管控、监控告警、资源治理等核心场景，经历过大规模集群、海量大数据的考验。内部满意度高达90%的同时，还与多家知名企业达成商业化合作。
|
||
|
||
### 1.1 快速体验地址
|
||
|
||
- 体验地址 http://117.51.150.133:8080 账号密码 admin/admin
|
||
|
||
### 1.2 体验地图
|
||
相比较于同类产品的用户视角单一（大多为管理员视角），滴滴Logi-KafkaManager建立了基于分角色、多场景视角的体验地图。分别是：**用户体验地图、运维体验地图、运营体验地图**
|
||
|
||
#### 1.2.1 用户体验地图
|
||
- 平台租户申请 ：申请应用（App）作为Kafka中的用户名，并用 AppID+password作为身份验证
|
||
- 集群资源申请 ：按需申请、按需使用。可使用平台提供的共享集群，也可为应用申请独立的集群
|
||
- Topic 申 请 ：可根据应用（App）创建Topic，或者申请其他topic的读写权限
|
||
- Topic 运 维 ：Topic数据采样、调整配额、申请分区等操作
|
||
- 指 标 监 控 ：基于Topic生产消费各环节耗时统计，监控不同分位数性能指标
|
||
- 消 费 组 运 维 ：支持将消费偏移重置至指定时间或指定位置
|
||
|
||
#### 1.2.2 运维体验地图
|
||
- 多版本集群管控 ：支持从`0.10.2`到`2.x`版本
|
||
- 集 群 监 控 ：集群Topic、Broker等多维度历史与实时关键指标查看，建立健康分体系
|
||
- 集 群 运 维 ：划分部分Broker作为Region，使用Region定义资源划分单位，并按照业务、保障能力区分逻辑集群
|
||
- Broker 运 维 ：包括优先副本选举等操作
|
||
- Topic 运 维 ：包括创建、查询、扩容、修改属性、迁移、下线等
|
||
|
||
|
||
#### 1.2.3 运营体验地图
|
||
- 资 源 治 理 ：沉淀资源治理方法。针对Topic分区热点、分区不足等高频常见问题，沉淀资源治理方法，实现资源治理专家化
|
||
- 资 源 审 批 ：工单体系。Topic创建、调整配额、申请分区等操作，由专业运维人员审批，规范资源使用，保障平台平稳运行
|
||
- 账 单 体 系 ：成本控制。Topic资源、集群资源按需申请、按需使用。根据流量核算费用，帮助企业建设大数据成本核算体系
|
||
|
||
### 1.3 核心优势
|
||
- 高 效 的 问 题 定 位 ：监控多项核心指标，统计不同分位数据，提供种类丰富的指标监控报表，帮助用户、运维人员快速高效定位问题
|
||
- 便 捷 的 集 群 运 维 ：按照Region定义集群资源划分单位，将逻辑集群根据保障等级划分。在方便资源隔离、提高扩展能力的同时，实现对服务端的强管控
|
||
- 专 业 的 资 源 治 理 ：基于滴滴内部多年运营实践，沉淀资源治理方法，建立健康分体系。针对Topic分区热点、分区不足等高频常见问题，实现资源治理专家化
|
||
- 友 好 的 运 维 生 态 ：与滴滴夜莺监控告警系统打通，集成监控告警、集群部署、集群升级等能力。形成运维生态，凝练专家服务，使运维更高效
|
||
|
||
### 1.4 滴滴Logi-KafkaManager架构图
|
||
|
||
|
||
|
||
|
||
## 2 相关文档
|
||
|
||
### 2.1 产品文档
|
||
- [滴滴Logi-KafkaManager 安装手册](docs/install_guide/install_guide_cn.md)
|
||
- [滴滴Logi-KafkaManager 接入集群](docs/user_guide/add_cluster/add_cluster.md)
|
||
- [滴滴Logi-KafkaManager 用户使用手册](docs/user_guide/user_guide_cn.md)
|
||
- [滴滴Logi-KafkaManager FAQ](docs/user_guide/faq.md)
|
||
|
||
### 2.2 社区文章
|
||
- [滴滴云官网产品介绍](https://www.didiyun.com/production/logi-KafkaManager.html)
|
||
- [7年沉淀之作--滴滴Logi日志服务套件](https://mp.weixin.qq.com/s/-KQp-Qo3WKEOc9wIR2iFnw)
|
||
- [滴滴Logi-KafkaManager 一站式Kafka监控与管控平台](https://mp.weixin.qq.com/s/9qSZIkqCnU6u9nLMvOOjIQ)
|
||
- [滴滴Logi-KafkaManager 开源之路](https://xie.infoq.cn/article/0223091a99e697412073c0d64)
|
||
- [滴滴Logi-KafkaManager 系列视频教程](https://mp.weixin.qq.com/s/9X7gH0tptHPtfjPPSdGO8g)
|
||
- [kafka实践（十五）：滴滴开源Kafka管控平台 Logi-KafkaManager研究--A叶子叶来](https://blog.csdn.net/yezonggang/article/details/113106244)
|
||
- [kafka的灵魂伴侣Logi-KafkaManager系列文章专栏 --石臻](https://blog.csdn.net/u010634066/category_10977588.html)
|
||
|
||
## 3 滴滴Logi开源用户交流群
|
||
|
||
|
||
|
||
微信加群：添加mike_zhangliang的微信号备注Logi加群或关注公众号 云原生可观测性 回复 "Logi加群"
|
||
|
||
## 4 知识星球
|
||
|
||
|
||
|
||
✅知识星球首个【Kafka中文社区】，内测期免费加入～https://z.didi.cn/5gSF9
|
||
有问必答~！
|
||
互动有礼~！
|
||
1100+群友一起共建国内最专业的【Kafka中文社区】
|
||
PS:提问请尽量把问题一次性描述清楚，并告知环境信息情况哦～！如使用版本、操作步骤、报错/警告信息等，方便嘉宾们快速解答～
|
||
|
||
## 5 项目成员
|
||
|
||
### 5.1 内部核心人员
|
||
|
||
`iceyuhui`、`liuyaguang`、`limengmonty`、`zhangliangmike`、`nullhuangyiming`、`zengqiao`、`eilenexuzhe`、`huangjiaweihjw`、`zhaoyinrui`、`marzkonglingxu`、`joysunchao`
|
||
|
||
|
||
### 5.2 外部贡献者
|
||
|
||
`fangjunyu`、`zhoutaiyang`
|
||
|
||
|
||
## 6 协议
|
||
|
||
`LogiKM`基于`Apache-2.0`协议进行分发和使用，更多信息参见[协议文件](./LICENSE)
|