mirror of
https://github.com/didi/KnowStreaming.git
synced 2025-12-24 11:52:08 +08:00
3.8 KiB
3.8 KiB
一站式Apache Kafka集群指标监控与运维管控平台
开源版、商业版对比
纲要：Logi-KafakManager的商业特性是强依赖于滴滴Kafka Gateway和滴滴kafka引擎。 滴滴KafkaGateway主要负责：服务发现、安全管控（身份鉴权、生产消费鉴权等）、流量管控（应用配额等）等； 滴滴Kafka引擎主要负责：更丰富的监控指标（broker实时耗时、压缩指标、分区落盘等）、磁盘过载保护等 备注：两个版本的产品功能页面是一样的。区别在于开源版未使用滴滴KafkaGateway（滴滴Kafka引擎），部分产品功能/功能不起作用或者页面无数据
| 模块 | 对比指标 | 底层依赖 | 开源版 | 商业版 | 备注 |
|---|---|---|---|---|---|
| 服务发现 | bootstrap地址变更对客户端无影响 | Gateway | 是 | ||
| 安全管控 | 身份鉴权（appID+password） | Gateway | 是 | ||
| 权限鉴权（Topic+appID） | Gateway | 是 | |||
| 指标监控 | Topic实时流量、历史流量 | 是 | 是 | ||
| Broker实时耗时、历史耗时 | 引擎 | 是 | |||
| 分区落盘 | 引擎 | 是 | |||
| Topic里的数据压缩格式 | 引擎 | 是 | |||
| 连接信息（Topic上有哪些应用连接） | Gateway | 是 | |||
| 流量管控（应用配额、生产消费限流等） | Gateway | 是 | |||
| 监控报警 | 是 | 是 | 监控指标上报，需对接外部监控系统（夜莺or企业内部监控系统） | ||
| Topic运维 | 申请分区 | 是 | 是 | ||
| 调整配额 | Gateway | 是 | |||
| Topic数据采样 | 是 | 是 | |||
| 消费组管理（重置消费偏移等） | 是 | 是 | |||
| 集群管理 | 集群接入（部署） | 是 | 是 | 需手动部署集群，或借助外部的自动化部署系统（夜莺）来部署系统 | |
| 集群指标监控 | 是 | 是 | |||
| 按照Region、逻辑集群进行管理 | 是 | 是 | |||
| Topic迁移 | 是 | 是 | |||
| 集群任务（集群版本管理、升级、扩缩容、回滚等） | 是 | 是 | 需借助夜莺或自动化部署系统来实现 | ||
| 磁盘过载保护 | 引擎 | 是 | |||
| 指定broker作为优选controller | Gateway | 是 | |||
| Gateway管理 | 管理 Gateway的配置文件 | Gateway | 是 | ||
| 资源治理 | 专家服务（Topic分区热点、Topic分区不足、Topic长期未使用、Topic流量异常） | 是 | 是 | 开源版：具备问题发现与基础的问题解决能力；商业版：可在此基础上，融入滴滴内部的资源治理经验，提供更加专家化的问题解决方法 | |
| 健康分 | 是 | 是 | 开源版：具备基础的健康分算法；商业版：可融入更多的指标统计，及定制化的健康分算法 | ||
| 运营管理 | 资源审批（应用申请、Topic申请、分区申请、配额申请、集群申请等，都需要通过工单进行审批） | 是 | 是 | ||
| 账单体系（根据流量核算Topic、集群费用） | 是 | 是 |
总结
滴滴LogiKM的商业特性体现在滴滴Kafka Gateway、滴滴Kafka引擎、内部沉淀出的资源治理专家经验、可定制化的健康分算法。 从场景来看，滴滴Logi-KafkaManager的开源版本在kafka集群运维、的Topic管理、监控告警、资源治理等kafka核心场景都充分开源用户的使用需求并且有着出色的表现。而商业版相较于开源版在安全管控、流量管控、更丰富的指标监控、资源治理专家经验的具有明显提升，更加符合企业业务需求。 除此之外，商业版还可根据企业实际需求对平台源码进行定制化改造，并提供运维保障，稳定性保障，运营保障等服务。