mirror of
https://github.com/didi/KnowStreaming.git
synced 2025-12-24 03:42:07 +08:00
849 lines
40 KiB
Markdown
849 lines
40 KiB
Markdown
|
||
## 5.0、产品简介
|
||
|
||
`Know Streaming` 是一套云原生的 Kafka 管控平台，脱胎于众多互联网内部多年的 Kafka 运营实践经验，专注于 Kafka 运维管控、监控告警、资源治理、多活容灾等核心场景，在用户体验、监控、运维管控上进行了平台化、可视化、智能化的建设，提供一系列特色的功能，极大地方便了用户和运维人员的日常使用，让普通运维人员都能成为 Kafka 专家。
|
||
|
||
## 5.1、功能架构
|
||
|
||
|
||
|
||
## 5.2、体验路径
|
||
|
||
下面是用户第一次使用我们产品的典型体验路径：
|
||
|
||
|
||
|
||
## 5.3、常用功能
|
||
|
||
### 5.3.1、用户管理
|
||
|
||
用户管理是提供给管理员进行人员管理和用户角色管理的功能模块，可以进行新增用户和分配角色。下面是一个典型的场景：
|
||
eg：团队加入了新成员，需要给这位成员分配一个使用系统的账号，需要以下几个步骤
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”，输入“账号”、“实名”、“密码”，根据此账号所需要的权限，选择此账号所对应的角色。如果有满足权限的角色，则用户新增成功。如果没有满足权限的角色，则需要新增角色（步骤 2）
|
||
- 步骤 2:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”。输入角色名称和描述，给此角色分配权限，点击“确定”，角色新增成功
|
||
|
||
- 步骤 3:根据此新增的角色，参考步骤 1，重新新增用户
|
||
|
||
- 步骤 4:此用户账号新增成功，可以进行登录产品使用
|
||
|
||
|
||
|
||
### 5.3.2、接入集群
|
||
|
||
- 步骤 1:点击“多集群管理”>“接入集群”
|
||
|
||
- 步骤 2:填写相关集群信息
|
||
|
||
- 集群名称：支持中英文、下划线、短划线（-），最长 128 字符。平台内不能重复
|
||
- Bootstrap Servers：输入 Bootstrap Servers 地址。输入完成之后会进行连接测试，测试完成之后会给出测试结果连接成功 or 连接失败（以及失败的原因）。
|
||
- Zookeeper：输入 zookeeper 地址，输入完成之后会进行连接测试，测试完成之后会给出测试结果连接成功 or 连接失败（以及失败的原因）
|
||
- Metrics 选填：JMX Port，输入 JMX 端口号；MaxConn，输入服务端最大允许的连接数
|
||
- Security：若有 JMX 账号密码，则输入账号密码
|
||
- Version：选择所支持的 kafka 版本，如果没有匹配则可以选择相近版本
|
||
- 集群配置选填：输入用户创建 kafka 客户端进行信息获取的相关配置
|
||
- 集群描述：最多 200 字符
|
||
|
||
|
||
|
||
### 5.3.3、新增 Topic
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
|
||
|
||
- 步骤 2:输入“Topic 名称（不能重复）”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略（删除或压缩）”
|
||
|
||
- 步骤 3:展开“更多配置”可以打开高级配置选项，根据自己需要输入相应配置参数
|
||
|
||
- 步骤 4:点击“确定”，创建 Topic 完成
|
||
|
||
|
||
|
||
### 5.3.4、Topic 扩分区
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
|
||
|
||
- 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
|
||
|
||
- 步骤 3:输入所需的分区总数，自动计算出扩分区后支持的最低消息写入速率
|
||
|
||
- 步骤 4:点击确定，扩分区完成
|
||
|
||
|
||
|
||
### 5.3.5、Topic 批量扩缩副本
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
|
||
|
||
- 步骤 2:选择所需要进行扩缩容的 Topic，可多选，所选择的 Topic 出现在下方 Topic 列表中
|
||
|
||
- 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
|
||
|
||
- 步骤 4:扩容时，选择目标节点，新增的副本会在选择的目标节点上；缩容时不需要选择目标节点，自动删除最后一个（或几个）副本
|
||
|
||
- 步骤 5:输入迁移任务配置参数，包含限流值和任务执行时间
|
||
|
||
- 步骤 6:输入任务描述
|
||
|
||
- 步骤 7:点击“确定”，创建 Topic 扩缩副本任务
|
||
|
||
- 步骤 8:去“Job”模块的 Job 列表查看创建的任务，如果已经执行则可以查看执行进度；如果未开始执行则可以编辑任务
|
||
|
||
|
||
|
||
### 5.3.6、Topic 批量迁移
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
|
||
|
||
- 步骤 2:选择所需要进行迁移的 Topic，可多选，所选择的 Topic 出现在下方 Topic 列表中
|
||
|
||
- 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
|
||
|
||
- 步骤 4:选择目标节点（节点数必须不小于最大副本数）
|
||
|
||
- 步骤 5:点击“预览任务计划”，打开“任务计划”二次抽屉，可对目标 Broker ID 进行编辑
|
||
|
||
- 步骤 6:输入迁移任务配置参数，包含限流值和任务执行时间
|
||
|
||
- 步骤 7:输入任务描述
|
||
|
||
- 步骤 8:点击“确定”，创建 Topic 迁移任务
|
||
|
||
- 步骤 9:去“Job”模块的 Job 列表查看创建的任务，如果已经执行则可以查看执行进度；如果未开始执行则可以编辑任务
|
||
|
||
|
||
|
||
### 5.3.7、设置 Cluster 健康检查规则
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
|
||
|
||
- 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重，可以修改检查项的检查规则
|
||
|
||
- 步骤 3:检查规则可配置，分别为
|
||
|
||
- Cluster：集群 controller 数不等于 1（数字不可配置）不通过
|
||
- Broker：RequestQueueSize 大于等于 10（默认为 10，可配置数字）不通过
|
||
- Broker：NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%（默认为 0.8%，可配置数字）不通过
|
||
- Topic：无 leader 的 Topic 数量，大于等于 1（默认为 1，数字可配置）不通过
|
||
- Topic：Topic 在 10（默认为 10，数字可配置）个周期内 8（默认为 8，数字可配置）个周期内处于未同步的状态则不通过
|
||
- ConsumerGroup：Group 在 10（默认为 10，数字可配置）个周期内进行 8（默认为 8，数字可配置）次 re-balance 不通过
|
||
|
||
- 步骤 4:设置完成后，点击“确认”，健康检查规则设置成功
|
||
|
||
|
||
|
||
### 5.3.8、图表指标筛选
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
|
||
|
||
- 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
|
||
|
||
- 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标，点击”确认“，指标筛选成功，展示的图表随之变化
|
||
|
||
|
||
|
||
### 5.3.9、编辑 Broker 配置
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
|
||
|
||
- 步骤 2:输入配置项的新配置内容
|
||
|
||
- 步骤 3:（选填）点击“应用于全部 Broker”，将此配置项的修改应用于全部的 Broker
|
||
|
||
- 步骤 4:点击“确认”，Broker 配置修改成功
|
||
|
||
|
||
|
||
### 5.3.10、重置 consumer Offset
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
|
||
|
||
- 步骤 2:选择重置 Offset 的类型，可“重置到指定时间”或“重置分区”
|
||
|
||
- 步骤 3:重置到指定时间，可选择“最新 Offset”或“自定义时间”
|
||
|
||
- 步骤 4:重置分区，可选择 partition 和其重置的 offset
|
||
|
||
- 步骤 5:点击“确认”，重置 Offset 开始执行
|
||
|
||
|
||
|
||
### 5.3.11、新增 ACL
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
|
||
|
||
- 步骤 2:输入 ACL 配置参数
|
||
|
||
- ACL 用途：生产权限、消费权限、自定义权限
|
||
- 生产权限时：可选择应用于所有 Kafka User 或者特定 Kafka User；可选择应用于所有 Topic 或者特定 Topic
|
||
- 消费权限时：可选择应用于所有 Kafka User 或者特定 Kafka User；可选择应用于所有 Topic 或者特定 Topic；可选择应用于所有 Consumer Group 或者特定 Consumer Group
|
||
|
||
- 步骤 3:点击“确定”，新增 ACL 成功
|
||
|
||
|
||
|
||
## 5.4、全部功能
|
||
|
||
### 5.4.1、登录/退出登录
|
||
|
||
- 登录：输入账号密码，点击登录
|
||
|
||
- 退出登录：鼠标悬停右上角“头像”或者“用户名”，出现小弹窗“登出”，点击“登出”，退出登录
|
||
|
||
### 5.4.2、系统管理
|
||
|
||
用户登录完成之后，点击页面右上角【系统管理】按钮，切换到系统管理的视角，可以进行配置管理、用户管理、审计日志查看。
|
||
|
||
|
||
#### 5.4.2.1、配置管理
|
||
|
||
配置管理是提供给管理员一个快速配置配置文件的能力，所配置的配置文件将会在对应模块生效。
|
||
|
||
#### 5.4.2.2、查看配置列表
|
||
|
||
- 步骤 1:点击”系统管理“>“配置管理”
|
||
|
||
- 步骤 2:列表展示配置所属模块、配置键、配置值、启用状态、更新时间、更新人。列表有操作项编辑、删除，可对配置模块、配置键、配置值、描述、启用状态进行配置，也可删除此条配置
|
||
|
||
|
||
|
||
#### 5.4.2.3、新增配置
|
||
|
||
- 步骤 1:点击“系统管理”>“配置管理”>“新增配置”
|
||
|
||
- 步骤 2：模块：下拉选择所有可配置的模块；配置键：不限制输入内容，500 字以内；配置值：代码编辑器样式，不限内容不限长度；启用状态开关：可以启用/禁用此项配置
|
||
|
||
|
||
|
||
#### 5.4.2.4、编辑配置
|
||
|
||
可对配置模块、配置键、配置值、描述、启用状态进行配置。
|
||
|
||
#### 5.4.2.5、用户管理
|
||
|
||
用户管理是提供给管理员进行人员管理和用户角色管理的功能模块，可以进行新增用户和分配角色。
|
||
|
||
#### 5.4.2.6、人员管理列表
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“人员管理”
|
||
|
||
- 步骤 2:人员管理列表展示用户角色、用户实名、用户分配的角色、更新时间、编辑操作。
|
||
|
||
- 步骤 3:列表支持”用户账号“、“用户实名”、“角色名”筛选。
|
||
|
||
|
||
|
||
#### 5.4.2.7、新增用户
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>“新增用户”
|
||
|
||
- 步骤 2:填写“用户账号”、“用户实名”、“用户密码”这些必填参数，可以对此账号分配已经存在的角色。
|
||
|
||
|
||
|
||
#### 5.4.2.8、编辑用户
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“人员管理”>列表操作项“编辑”
|
||
|
||
- 步骤 2:用户账号不可编辑；可以编辑“用户实名”，修改“用户密码”，重新分配“用户角色“
|
||
|
||
|
||
|
||
#### 5.4.2.9、角色管理列表
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“角色管理”
|
||
|
||
- 步骤 2:角色列表展示信息为“角色 ID”、“名称”、“描述”、“分配用户数”、“最后修改人”、“最后更新时间”、操作项“查看详情”、操作项”分配用户“
|
||
|
||
- 步骤 3:列表有筛选框，可对“角色名称”进行筛选
|
||
|
||
- 步骤 4:列表操作项，“查看详情”可查看到角色绑定的权限项，”分配用户“可对此项角色下绑定的用户进行增减
|
||
|
||
|
||
|
||
#### 5.4.2.10、新增角色
|
||
|
||
- 步骤 1:点击“系统管理”>“用户管理”>“角色管理”>“新增角色”
|
||
|
||
- 步骤 2:输入“角色名称”（角色名称只能由中英文大小写、数字、下划线\_组成，长度限制在 3 ～ 128 字符）、“角色描述“（不能为空）、“分配权限“（至少需要分配一项权限），点击确认，新增角色成功添加到角色列表
|
||
|
||
|
||
|
||
#### 5.4.2.11、审计日志
|
||
|
||
- 步骤 1:点击“系统管理”>“审计日志“
|
||
- 步骤 2:审计日志包含所有对于系统的操作记录，操作记录列表展示信息为下
|
||
|
||
- “模块”：操作对象所属的功能模块
|
||
- “操作对象”：具体哪一个集群、任务 ID、topic、broker、角色等
|
||
- “行为”：操作记录的行为，包含“新增”、“替换”、“读取”、“禁用”、“修改”、“删除”、“编辑”等
|
||
- “操作内容”：具体操作的内容是什么
|
||
- “操作时间”：操作发生的时间
|
||
- “操作人”：此项操作所属的用户
|
||
|
||
- 步骤 3:操作记录列表可以对“模块“、”操作对象“、“操作内容”、”操作时间“进行筛选
|
||
|
||
|
||
|
||
### 5.4.3、多集群管理
|
||
|
||
#### 5.4.3.1、多集群列表
|
||
|
||
- 步骤 1:点击顶部导航栏“多集群管理”
|
||
|
||
- 步骤 2:多集群管理页面包含的信息为：”集群信息总览“、“集群列表”、“列表筛选项”、“接入集群”
|
||
|
||
- 步骤 3:集群列表筛选项为
|
||
|
||
- 集群信息总览：cluster 总数、live 数、down 数
|
||
- 版本筛选：包含所有存在的集群版本
|
||
- 健康分筛选：筛选项为 0、10、20、30、40、50、60、70、80、90、100
|
||
- live、down 筛选：多选
|
||
- 下拉框筛选排序，选项维度为“接入时间”、“健康分“、”Messages“、”MessageSize“、”BytesIn“、”BytesOut“、”Brokers“；可对这些维度进行“升序”、“降序”排序
|
||
|
||
- 步骤 4:每个卡片代表一个集群，其所展示的集群概览信息包括“健康分及健康检查项通过数”、“broker 数量”、“ZK 数量”、“版本号”、“BytesIn 均衡状态”、“BytesOut 均衡状态”、“Disk 均衡状态”、”Messages“、“MessageSize”、“BytesIn”、“BytesOut”、“接入时间”
|
||
|
||
|
||
|
||
#### 5.4.3.2、接入集群
|
||
|
||
- 步骤 1:点击“多集群管理”>“接入集群”
|
||
|
||
- 步骤 2:填写相关集群信息
|
||
- 集群名称：平台内不能重复
|
||
- Bootstrap Servers：输入 Bootstrap Servers 地址，输入完成之后会进行连接测试，测试完成之后会给出测试结果连接成功 or 连接失败（以及失败的原因）。
|
||
- Zookeeper：输入 zookeeper 地址，输入完成之后会进行连接测试，测试完成之后会给出测试结果连接成功 or 连接失败（以及失败的原因）
|
||
- Metrics 选填：JMX Port，输入 JMX 端口号；MaxConn，输入服务端最大允许的连接数
|
||
- Security：若有 JMX 账号密码，则输入账号密码
|
||
- Version：kafka 版本，如果没有匹配则可以选择相近版本
|
||
- 集群配置选填：用户创建 kafka 客户端进行信息获取的相关配置
|
||
|
||
|
||
|
||
#### 5.4.3.3、删除集群
|
||
|
||
- 步骤 1:点击“多集群管理”>鼠标悬浮集群卡片>点击卡片右上角“删除 icon”>打开“删除弹窗”
|
||
|
||
- 步骤 2:在删除弹窗中的“集群名称”输入框，输入所要删除集群的集群名称，点击“删除”，成功删除集群，解除平台的纳管关系（集群资源不会删除）
|
||
|
||
|
||
|
||
### 5.4.4、Cluster 管理
|
||
|
||
#### 5.4.4.1、Cluster Overview
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>进入单集群管理界面
|
||
|
||
- 步骤 2:左侧导航栏
|
||
|
||
- 一级导航：Cluster；二级导航：Overview、Load Rebalance
|
||
- 一级导航：Broker；二级导航：Overview、Brokers、Controller
|
||
- 一级导航：Topic；二级导航：Overview、Topics
|
||
- 一级导航：Consumer
|
||
- 一级导航：Testing；二级导航：Produce、Consume
|
||
- 一级导航：Security；二级导航：ACLs、Users
|
||
- 一级导航：Job
|
||
|
||
|
||
|
||
#### 5.4.4.2、查看 Cluster 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”
|
||
|
||
- 步骤 2:cluster 概览信息包括以下内容
|
||
|
||
- 集群健康分，健康检查通过项
|
||
- Cluster 信息：包含名称、版本、均衡状态
|
||
- Broker 信息：Broker 总数、controller 信息、similar config 信息
|
||
- Topic 信息：Topic 总数、No Leader、<Min ISR、URP
|
||
- Consumer Group 信息：Consumer Group 总数、是否存在 Dead 情况
|
||
- 指标图表
|
||
- 历史变更记录：名称、时间、内容、类型
|
||
|
||
|
||
|
||
#### 5.4.4.3、设置 Cluster 健康检查规则
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边 icon”>“健康度设置抽屉”
|
||
|
||
- 步骤 2:健康度设置抽屉展示出了检查项和其对应的权重，可以修改检查项的检查规则
|
||
|
||
- 步骤 3:检查规则可配置，分别为
|
||
|
||
- Cluster：集群 controller 数不等于 1（数字不可配置）不通过
|
||
- Broker：RequestQueueSize 大于等于 10（默认为 10，可配置数字）不通过
|
||
- Broker：NetworkProcessorAvgIdlePercent 的 Idle 小于等于 0.8%（默认为 0.8%，可配置数字）不通过
|
||
- Topic：无 leader 的 Topic 数量，大于等于 1（默认为 1，数字可配置）不通过
|
||
- Topic：Topic 在 10（默认为 10，数字可配置）个周期内 8（默认为 8，数字可配置）个周期内处于未同步的状态
|
||
- ConsumerGroup：Group 在 10（默认为 10，数字可配置）个周期内进行 8（默认为 8，数字可配置）次 re-balance 不通过
|
||
|
||
- 步骤 4:设置完成后，点击“确认”，健康检查规则设置成功
|
||
|
||
|
||
|
||
#### 5.4.4.4、查看 Cluster 健康检查详情
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
|
||
|
||
- 步骤 2:健康检查详情抽屉展示信息为：“检查模块”、“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”，若未通过会展示未通过的对象
|
||
|
||
|
||
|
||
#### 5.4.4.5、编辑 Cluster 信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“Cluster 名称旁边编辑 icon”>“编辑集群抽屉”
|
||
|
||
- 步骤 2:可编辑的信息包括“集群名称”、“Bootstrap Servers”、“Zookeeper”、“JMX Port”、“Maxconn（最大连接数）”、“Security（认证措施）”、“Version（版本号）”、“集群配置”、“集群描述”
|
||
|
||
- 步骤 3:点击“确定”，成功编辑集群信息
|
||
|
||
|
||
|
||
#### 5.4.4.6、图表指标筛选
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“指标筛选 icon”>“指标筛选抽屉”
|
||
|
||
- 步骤 2:指标筛选抽屉展示信息为以下几类“Health”、“Cluster”、“Broker”、“Consumer”、“Security”、“Job”
|
||
|
||
- 步骤 3:默认勾选比较重要的指标进行展示。根据需要选中/取消选中相应指标，点击”确认“，指标筛选成功，展示的图表随之变化
|
||
|
||
|
||
|
||
#### 5.4.4.7、图表时间筛选
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“时间选择下拉框”>“时间选择弹窗”
|
||
|
||
- 步骤 2:选择时间“最近 15 分钟”、“最近 1 小时”、“最近 6 小时”、“最近 12 小时”、“最近 1 天”，也可以自定义时间段范围
|
||
|
||
|
||
|
||
#### 5.4.4.8、查看集群历史变更记录
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Overview”>“历史变更记录”区域
|
||
|
||
- 步骤 2:历史变更记录区域展示了历史的配置变更，每条记录可展开收起。包含“配置对象”、“变更时间”、“变更内容”、“配置类型”
|
||
|
||
|
||
|
||
### 5.4.5、Load Rebalance（企业版）
|
||
|
||
#### 5.4.5.1、查看 Load Rebalance 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”
|
||
|
||
- 步骤 2:Load Rebalance 概览信息包含“均衡状态卡片”、“Disk 信息卡片”、“BytesIn 信息卡片”、“BytesOut 信息卡片”、“Broker 均衡状态列表”
|
||
|
||
|
||
|
||
#### 5.4.5.2、设置集群规格
|
||
|
||
提供对集群的每个节点的 Disk、BytesIn、BytesOut 的规格进行设置的功能
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“State 卡片 icon“>”设置集群规格抽屉“
|
||
|
||
- 步骤 2:穿梭框左侧展示集群中的待选节点，穿梭框右侧展示已经选中的节点，选择自己所需设置规格的节点
|
||
|
||
- 步骤 3:设置“单机核数”、“单机磁盘”、“单机网络”，点击确定，完成设置
|
||
|
||
|
||
|
||
#### 5.4.5.3、均衡状态列表筛选
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“筛选列表”按钮>筛选弹窗
|
||
|
||
- 步骤 2:可选择“Disk”、“BytesIn”、“BytesOut”三种维度，其各自对应“已均衡”、“未均衡”两种状态，可以组合进行筛选
|
||
|
||
- 步骤 3:点击“确认”，执行筛选操作
|
||
|
||
|
||
|
||
#### 5.4.5.4、立即均衡
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“立即均衡”按钮>“立即均衡抽屉”
|
||
|
||
- 步骤 2:配置均衡策略
|
||
|
||
- 指标计算周期：默认近 10mins，可选择
|
||
- 均衡维度：默认 Disk、BytesIn、BytesOut，可选择
|
||
- 均衡区间：在表格内自定义配置均衡区间范围（单位：%，大于 0，小于 100）
|
||
- Topic 黑名单：选择 topic 黑名单。通过穿梭框（支持模糊选择）选出目标 topic（本次均衡，略过已选的 topic）
|
||
|
||
- 步骤 3:配置运行参数
|
||
|
||
- 吞吐量优先：并行度 0（无限制）， 策略是优先执行大小最大副本
|
||
- 稳定性优先： 并行度 1 ，策略是优先执行大小最小副本
|
||
- 自定义：可以自由设置并行度和优先执行的副本策略
|
||
- 限流值：流量最大值，0-99999 自定义
|
||
|
||
- 步骤 4:点击“预览计划”按钮，打开执行计划弹窗。可以看到计划概览信息、计划明细信息
|
||
|
||
- 步骤 5:点击“预览计划弹窗”的“执行文件”，可以下载 json 格式的执行文件
|
||
|
||
- 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮，开始执行均衡任务
|
||
|
||
|
||
|
||
#### 5.4.5.5、周期均衡
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Cluster”>“Load Rebalance”>“周期均衡”按钮>“周期均衡抽屉”
|
||
|
||
- 步骤 2:配置均衡策略
|
||
|
||
- 指标计算周期：默认近 10mins，可选择
|
||
- 均衡维度：默认 Disk、BytesIn、BytesOut，可选择
|
||
- 均衡区间：在表格内自定义配置均衡区间范围（单位：%，大于 0，小于 100）
|
||
- Topic 黑名单：选择 topic 黑名单。通过穿梭框（支持模糊选择）选出目标 topic（本次均衡，略过已选的 topic）
|
||
|
||
- 步骤 3:配置运行参数
|
||
|
||
- 任务并行度：每个节点同时迁移的副本数量
|
||
- 任务周期：时间选择器，自定义选择运行周期
|
||
- 稳定性优先： 并行度 1 ，策略是优先执行大小最小副本
|
||
- 自定义：可以自由设置并行度和优先执行的副本策略
|
||
- 限流值：流量最大值，0-99999 自定义
|
||
|
||
- 步骤 4:点击“预览计划”按钮，打开执行计划弹窗。可以看到计划概览信息、计划明细信息
|
||
|
||
- 步骤 5:点击“预览计划弹窗”的“执行文件”，可以下载 json 格式的执行文件
|
||
|
||
- 步骤 6:点击“预览计划弹窗”的“立即均衡”按钮，开始执行均衡任务
|
||
|
||
|
||
|
||
### 5.4.6、Broker
|
||
|
||
#### 5.4.6.1、查看 Broker 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Overview”
|
||
|
||
- 步骤 2:Broker 概览信息包括以下内容
|
||
|
||
- 集群健康分，健康检查通过项
|
||
- Broker 信息：包含名称、版本、均衡状态
|
||
- Broker 信息：Broker 总数、controller 信息、similar config 信息
|
||
- Topic 信息：Topic 总数、No Leader、<Min ISR、URP
|
||
- Consumer Group 信息：Consumer Group 总数、是否存在 Dead 情况
|
||
- 指标图表
|
||
- 历史变更记录：名称、时间、内容、类型
|
||
|
||
|
||
|
||
#### 5.4.6.2、编辑 Broker 配置
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Configuration”TAB>“编辑”按钮
|
||
|
||
- 步骤 2:输入配置项的新配置内容
|
||
|
||
- 步骤 3:（选填）点击“应用于全部 Broker”，将此配置项的修改应用于全部的 Broker
|
||
|
||
- 步骤 4:点击“确认”，Broker 配置修改成功
|
||
|
||
|
||
|
||
#### 5.4.6.3、查看 Broker DataLogs
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Brokers”>“Broker ID”>“Data Logs”TAB>“编辑”按钮
|
||
|
||
- 步骤 2:Broker DataLogs 列表展示的信息为“Folder”、“topic”、“Partition”、“Offset Lag”、“Size”
|
||
|
||
- 步骤 3:输入框输入”Topic Name“可以筛选结果
|
||
|
||
|
||
|
||
#### 5.4.6.4、查看 Controller 列表
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Broker”>“Controller”
|
||
|
||
- 步骤 2:Controller 列表展示的信息为“Change Time”、“Broker ID”、“Broker Host”
|
||
|
||
- 步骤 3:输入框输入“Broker Host“可以筛选结果
|
||
|
||
- 步骤 4:点击 Broker ID 可以打开 Broker 详情，进行修改配置或者查看 DataLogs
|
||
|
||
|
||
|
||
### 5.4.7、Topic
|
||
|
||
#### 5.4.7.1、查看 Topic 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”
|
||
|
||
- 步骤 2:Topic 概览信息包括以下内容
|
||
|
||
- 集群健康分，健康检查通过项
|
||
- Topics：Topic 总数
|
||
- Partitions：Partition 总数
|
||
- PartitionNoLeader：没有 leader 的 partition 个数
|
||
- < Min ISR：同步副本数小于 Min ISR
|
||
- =Min ISR：同步副本数等于 Min ISR
|
||
- Topic 指标图表
|
||
|
||
|
||
|
||
#### 5.4.7.2、查看 Topic 健康检查详情
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Overview”>“集群健康状态旁边【查看详情】”>“健康检查详情抽屉”
|
||
|
||
- 步骤 2:健康检查详情抽屉展示信息为：“检查项”、“权重”、“得分”、“检查时间”、“检查结果是否通过”，若未通过会展示未通过的对象
|
||
|
||
|
||
|
||
#### 5.4.7.3、查看 Topic 列表
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”
|
||
|
||
- 步骤 2:Topic 列表展示内容为“TopicName”、“Partitions”、“Replications”、“健康分”、“BytesIn”、“BytesOut”、“MessageSize”、“保存时间”、“描述”、操作项”扩分区“、操作项”删除“
|
||
|
||
- 步骤 3:筛选框输入“TopicName”可以对列表进行筛选；点击“展示系统 Topic”开关，可以筛选系统 topic
|
||
|
||
|
||
|
||
#### 5.4.7.4、新增 Topic
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“新增 Topic”按钮>“创建 Topic“抽屉
|
||
|
||
- 步骤 2:输入“Topic 名称（不能重复）”、“Topic 描述”、“分区数”、“副本数”、“数据保存时间”、“清理策略（删除或压缩）”
|
||
|
||
- 步骤 3:展开“更多配置”可以打开高级配置选项，根据自己需要输入相应配置参数
|
||
|
||
- 步骤 4:点击“确定”，创建 Topic 完成
|
||
|
||
|
||
|
||
#### 5.4.7.5、Topic 扩分区
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”扩分区“>“扩分区”抽屉
|
||
|
||
- 步骤 2:扩分区抽屉展示内容为“流量的趋势图”、“当前分区数及支持的最低消息写入速率”、“扩分区后支持的最低消息写入速率”
|
||
|
||
- 步骤 3:输入所需的分区总数，自动计算出扩分区后支持的最低消息写入速率
|
||
|
||
- 步骤 4:点击确定，扩分区完成
|
||
|
||
|
||
|
||
#### 5.4.7.6、删除 Topic
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“Topic 列表“>操作项”删除“>“删除 Topic”弹窗
|
||
|
||
- 步骤 2:输入“TopicName”进行二次确认
|
||
|
||
- 步骤 3:点击“删除”，删除 Topic 完成
|
||
|
||
|
||
|
||
#### 5.4.7.7、Topic 批量扩缩副本
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量扩缩副本“>“批量扩缩容”抽屉
|
||
|
||
- 步骤 2:选择所需要进行扩缩容的 Topic，可多选，所选择的 Topic 出现在下方 Topic 列表中
|
||
|
||
- 步骤 3:Topic 列表展示 Topic“近三天平均流量”、“近三天峰值流量及时间”、“Partition 数”、”当前副本数“、“新副本数”
|
||
|
||
- 步骤 4:扩容时，选择目标节点，新增的副本会在选择的目标节点上；缩容时不需要选择目标节点，自动删除最后一个（或几个）副本
|
||
|
||
- 步骤 5:输入迁移任务配置参数，包含限流值和任务执行时间
|
||
|
||
- 步骤 6:输入任务描述
|
||
|
||
- 步骤 7:点击“确定”，执行 Topic 扩缩容任务
|
||
|
||
|
||
|
||
#### 5.4.7.8、Topic 批量迁移
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Topic”>“Topics”>“批量操作下拉“>“批量迁移“>“批量迁移”抽屉
|
||
|
||
- 步骤 2:选择所需要进行迁移的 Topic，可多选，所选择的 Topic 出现在下方 Topic 列表中
|
||
|
||
- 步骤 3:选择所需要迁移的 partition 和迁移数据的时间范围
|
||
|
||
- 步骤 4:选择目标节点（节点数必须不小于最大副本数）
|
||
|
||
- 步骤 5:点击“预览任务计划”，打开“任务计划”二次抽屉，可对每个 partition 的目标 Broker ID 进行编辑，目标 broker 应该等于副本数
|
||
|
||
- 步骤 6:输入迁移任务配置参数，包含限流值和任务执行时间
|
||
|
||
- 步骤 7:输入任务描述
|
||
|
||
- 步骤 8:点击“确定”，执行 Topic 迁移任务
|
||
|
||
|
||
|
||
### 5.4.8、Consumer
|
||
|
||
#### 5.4.8.1、Consumer Overview
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”
|
||
|
||
- 步骤 2:Consumer 概览信息包括以下内容
|
||
|
||
- 集群健康分，健康检查通过项
|
||
- Groups：Consumer Group 总数
|
||
- GroupsActives：活跃的 Group 总数
|
||
- GroupsEmptys：Empty 的 Group 总数
|
||
- GroupRebalance：进行 Rebalance 的 Group 总数
|
||
- GroupDeads：Dead 的 Group 总数
|
||
- Consumer Group 列表
|
||
|
||
- 步骤 3:输入“Consumer Group”、“Topic Name‘，可对列表进行筛选
|
||
|
||
- 步骤 4:点击列表“Consumer Group”名称，可以查看 Comsuer Group 详情
|
||
|
||
|
||
|
||
#### 5.4.8.2、查看 Consumer 列表
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉
|
||
|
||
- 步骤 2:Consumer Group 详情有列表视图和图表视图
|
||
|
||
- 步骤 3:列表视图展示信息为 Consumer 列表，包含”Topic Partition“、”Member ID“、”Current Offset“、“Log End Offset”、”Lag“、”Host“、”Client ID“
|
||
|
||
|
||
|
||
#### 5.4.8.3、重置 Offset
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Consumer”>“Consumer Group”名称>“Consumer Group 详情”抽屉>“重置 Offset”按钮>“重置 Offset”抽屉
|
||
|
||
- 步骤 2:选择重置 Offset 的类型，可“重置到指定时间”或“重置分区”
|
||
|
||
- 步骤 3:重置到指定时间，可选择“最新 Offset”或“自定义时间”
|
||
|
||
- 步骤 4:重置分区，可选择 partition 和其重置的 offset
|
||
|
||
- 步骤 5:点击“确认”，重置 Offset 开始执行
|
||
|
||
|
||
|
||
### 5.4.9、Testing（企业版）
|
||
|
||
#### 5.4.9.1、生产测试
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Produce”
|
||
|
||
- 步骤 2:生产配置
|
||
|
||
- Data：选择数据写入的 topic，输入写入数据的 key（暂只支持 string 格式），输入写入数据的 value（暂只支持 string 格式）。其中 key 和 value 可以随机生成
|
||
- Flow：输入单次发送的消息数量，默认为 1，可以手动修改。选择手动生产模式，代表每次点击按钮【Run】执行生产；选择周期生产模式，需要填写运行总时间和运行时间间隔。
|
||
- Header：输入 Header 的 key，value
|
||
- Options：选择 Froce Partition，代表消息仅发送到这些选择的 Partition。选择数据压缩格式。选择 Acks 参数，none 意思是消息发送了就认为发送成功；leader 意思是 leader 接收到消息（不管 follower 有没有同步成功）认为消息发送成功；all 意思是所有的 follower 消息同步成功认为是消息发送成功
|
||
|
||
- 步骤 3:点击按钮【Run】，生产测试开始，可以从右侧看到生产测试的信息
|
||
|
||
|
||
|
||
#### 5.4.9.2、消费测试
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Testing”>“Consume”
|
||
|
||
- 步骤 2:消费配置
|
||
|
||
- Topic：选择数据从哪个 topic 进行消费
|
||
- Start From：选择数据从什么地方开始消费，可以根据时间选择或者根据 Offset 进行选择
|
||
- Until：选择消费截止到什么地方，可以根据时间或者 offset 或者消息数等进行选择
|
||
- Filter：选择过滤器的规则。包含/不包含某【key，value】；等于/大于/小于多少条消息
|
||
|
||
- 步骤 3:点击按钮【Run】，消费测试开始，可以在右边看到消费的明细信息
|
||
|
||
|
||
|
||
### 5.4.10、Security
|
||
|
||
注意：只有在开启集群认证的情况下才能够使用 Security 功能
|
||
|
||
#### 5.4.10.1、查看 ACL 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
|
||
|
||
- 步骤 2:ACL 概览信息包括以下内容
|
||
|
||
- Enable：是否可用
|
||
- ACLs：ACL 总数
|
||
- Users：User 总数
|
||
- Topics：Topic 总数
|
||
- Consumer Groups：Consumer Group 总数
|
||
- ACL 列表
|
||
|
||
|
||
|
||
#### 5.4.10.2、新增 ACl
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 ACL”
|
||
|
||
- 步骤 2:输入 ACL 配置参数
|
||
|
||
- ACL 用途：生产权限、消费权限、自定义权限
|
||
- 生产权限时：可选择应用于所有 Kafka User 或者特定 Kafka User；可选择应用于所有 Topic 或者特定 Topic
|
||
- 消费权限时：可选择应用于所有 Kafka User 或者特定 Kafka User；可选择应用于所有 Topic 或者特定 Topic；可选择应用于所有 Consumer Group 或者特定 Consumer Group
|
||
|
||
- 步骤 3:点击“确定”，新增 ACL 成功
|
||
|
||
|
||
|
||
#### 5.4.10.3、查看 User 信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“ACLs”
|
||
|
||
- 步骤 2:User 列表展示内容包括“Kafka User 名称”、“认证方式”、“passwprd”、操作项”修改密码“、”操作项“删除”
|
||
|
||
- 步骤 3:筛选框输入“Kafka User”可筛选出列表中相关 Kafka User
|
||
|
||
|
||
|
||
#### 5.4.10.4、新增 Kafka User
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Security”>“Users”>“新增 Kafka User”
|
||
|
||
- 步骤 2:输入 Kafka User 名称、认证方式、密码
|
||
|
||
- 步骤 3:点击“确定”，新增 Kafka User 成功
|
||
|
||
|
||
|
||
### 5.4.11、Job
|
||
|
||
#### 5.4.11.1、查看 Job 概览信息
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Job“
|
||
|
||
- 步骤 2:Job 概览信息包括以下内容
|
||
|
||
- Jobs：Job 总数
|
||
- Doing：正在运行的 Job 总数
|
||
- Prepare：准备运行的 Job 总数
|
||
- Success：运行成功的 Job 总数
|
||
- Fail：运行失败的 Job 总数
|
||
- Job 列表
|
||
|
||
|
||
|
||
#### 5.4.11.2、Job 查看进度
|
||
|
||
Doing 状态下的任务可以查看进度
|
||
|
||
- 步骤 1:点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“查看进度”>“查看进度”抽屉
|
||
|
||
- 步骤 2:
|
||
|
||
- 均衡任务：任务基本信息、均衡计划、任务执行明细信息
|
||
- 扩缩副本：任务基本信息、任务执行明细信息、节点流量情况
|
||
- Topic 迁移：任务基本信息、任务执行明细信息、节点流量情况
|
||
|
||
|
||
|
||
#### 5.4.11.3、Job 编辑任务
|
||
|
||
Prepare 状态下的任务可以进行编辑
|
||
|
||
- 点击“多集群管理”>“集群卡片”>“Job”>“Job”列表>操作项“编辑”
|
||
|
||
- 对任务执行的参数进行重新配置
|
||
|
||
- 集群均衡：可以对指标计算周期、均衡维度、topic 黑名单、运行配置等参数重新设置
|
||
- Topic 迁移：可以对 topic 需要迁移的 partition、迁移数据的时间范围、目标 broker 节点、限流值、执行时间、描述等参数重新配置
|
||
- topic 扩缩副本：可以对最终副本数、限流值、任务执行时间、描述等参数重新配置
|
||
|
||
- 点击“确定”，编辑任务成功
|
||
|
||
|