最简单使用一站式云原生实时流数据平台

胜
发布日期:   2023-01-06

大家好，我是爱撸代码的开源大叔！

Kafka 是一个分布式、支持分区的、多副本的，基于 zookeeper 协调的分布式消息系统，它的最大的特性是可以实时的处理大量数据以满足各种需求场景。如何将复杂的 Kafka命令行操作转化为GUI，加速应用开发和数据集成一直是我们需要的。

今天大叔给大家推荐一款一站式Kafka集群管控平台 – Know Streaming 。

项目简介

Know Streaming 是一套云原生的 Kafka 监控平台，用于管理和观测 kafka ，降低 Kafka CLI 操作门槛，轻松实现 Kafka 集群可视化监控，加速 DataOps 落地。

Know Streaming 实现了 Kafka 运维管控、监控告警、资源治理、多活容灾等核心功能。

项目特点

零侵入

不需要对 kafka 进行改造，可以接入 0.10.x-3.x.x 众多版本 Kafka

可视化

提供清新简洁的可视化界面，支持 Cluster、Broker、Topic、Zookeeper、Message、Consumer、ALC 等组件 GUI 管理

功能丰富

  • 多集群管理： Cluster 管理、Broker 管理、Topic 管理、Group 管理、Message 管理、Security 管理、Jobs 管理等功能模块，支持健康分析、核心组件观测等功能
  • 系统管理：配置管理、用户管理、审计日志等功能模块
  • 异常检查：集群多维度健康巡检、集群多维度健康分析
  • Topic 管理：Topic 扩分区、Topic 扩缩副本、Topic 副本迁移、Topic 删除

安装使用

脚本部署

1
2
3
4
5
# 下载安装脚本, 该脚本中会在当前目录下，重新安装MySQL。重装后的mysql密码存放在当前目录的mysql.password文件中。
wget https://s3-gzpu.didistatic.com/pub/knowstreaming/deploy_KnowStreaming.sh

# 执行脚本
sh deploy_KnowStreaming.sh

登录系统

打开浏览器访问：http://127.0.0.1:8080

默认账号和密码：admin / admin。（v3.0 beta1 版本默认账号和密码为：admin / admin2022_）

使用流程

1、接入集群，添加集群信息

2、新增 Topic

3、设置健康检查规则

设置 Cluster 、Broker、Topic、ConsumerGroup等组件的检查规则

4、图表指标筛选

勾选 Health、Cluster、Broker、Consumer、Security、Job 等指标进行展示

项目地址

1
https://github.com/didi/KnowStreaming

总结

Know Streaming 根据互联网公司多年使用 kafka 经验，专注于 kafka 运维管理，基于云原生构建，支持快速水平扩展。感兴趣的伙伴赶快去试试吧。

胜
  目录