Skip to content

Latest commit

 

History

History
144 lines (101 loc) · 5.03 KB

deploy.md

File metadata and controls

144 lines (101 loc) · 5.03 KB
Error in user YAML: (<unknown>): did not find expected alphabetic or numeric character while scanning an alias at line 1 column 1
---
**layout: global
title: 安装部署
description: 安装部署说明
---

{:toc}

1 安装部署说明

安装部署分为以下两种方式(注意:两种方式不可以混用):

  • All In One体验版
    • 该版本安装在单机上,自动部署安装dbus所依赖的相关组件,仅用于体验dbus基本功能,不可以用于生产。
    • 该版本支持mysql数据源接入体验。
  • 集群部署
    • 用于生产环境或测试环境部署。
    • 可部署在单机上或集群上。
    • 该版本包含对Oracle、mysql,logstash、filebeat、flume等数据源的支持。

2 快速体验 - All In One包部署

3 集群部署

3.1 环境准备

3.1.1 硬件基础

Dbus集群环境最少需要三台Linux服务器,例如服务器信息如下:

No IP 域名
1 192.168.0.1 dbus-n1
2 192.168.0.2 dbus-n2
3 192.168.0.3 dbus-n3
4 192.168.0.4 dbus-keeper

所有服务器安装JDK1.8

修改所有服务器/etc/hosts文件设置相应的域名信息如下:

192.168.0.1 dbus-n1
192.168.0.2 dbus-n2
192.168.0.3 dbus-n3
192.168.0.4 dbus-keeper

3.1.2 依赖服务

名称 版本号 说明
Canal v1.0.22 DBus用于实时抽取binlog日志。DBus修改一个文件, 具体配置可参考canal相关支持说明,支持mysql5.6,5.7
Zookeeper v3.4.6+ 用于构建整个系统和提供配置通知等。推荐版本:v3.4.8
Kafka v0.10 用于存储相关数据和消息,提供订阅和发布的能力
Storm v1.0.1 用于提供DBus流式计算
Influxdb v0.13.0 用于记录实时监控数据。创建好账号。后续配置需提供。
Grafana v4.2.0 用于展示监控信息。需生成Token信息备用。点击查看Grafana生成Token步骤
MySql v5.6.x 创建数据库dbus_mgr。创建好账号。后续配置需提供。
SSH免密 - 配通dbus-keeper到dbus-n1、dbus-n2、dbus-n3之间的SSH免密登录。
kafka-manager v1.3.0.8 **选装 **。用于便捷地查看、管理Kafka集群。建议安装。

[Grafana生成Token信息步骤]

步骤一:点击打开API Keys管理页面。

grafana-token-01

步骤二:添加Key。

grafana-token-02

步骤三:在跳出来的页面拷贝Key,并保存好。

grafana-token-03

3.2 DBUS安装配置

3.2.1 下载Dbus-Keeper

访问Release Downloads,到该Release页面提供的云盘地址下载 dbuskeeper_web.zip 压缩包,上传到你指定的服务器,解压 unzip dbuskeeper_web.zip。

3.2.2 修改Dbus-Keeper启动配置

修改解压后根目录conf.properties,提供dbus-keeper初始化启动参数

# eureka地址:如果用非自带的,需改成您自己的eurecka地址。否则,维持不变即可。
eureka.client.serviceUrl.defaultZone=http://localhost:9090/eureka/
# eureka预警邮箱
[email protected]
# ZK地址
zk.str=zk_server_ip:2181
# mysql管理库相关配置,其中mysql驱动可以不改
spring.datasource.driver-class-name=com.mysql.jdbc.Driver
spring.datasource.url=jdbc:mysql://mysql_server_ip:3306/dbus?characterEncoding=utf-8
spring.datasource.username=dbus
spring.datasource.password=dbus!@#123

3.2.3 启动/停止Dbus-Keeper

>>初始化jar包。
	./init.sh		
>>启动web
	./start.sh
>>停止web运行 
	./stop.sh

3.2.4 初始化配置

登陆web: http://localhost:3088,首次登陆会自动跳转到初始化页面,根据页面提示提供相关信息:

点击确定,后台会自动完成以下初始化动作:
    1、配置数据正确性检测
    2、初始化zookeeper节点
    3、初始化心跳
    4、初始化mgr数据库
    5、模板sink添加
    6、超级管理员添加(默认用户名:admin,默认密码:12345678)
    7、初始化storm程序包
    8、初始化Grafana
    9、初始化Influxdb
    10、初始化脱敏包
初始化过程中,如果某个环节连通性检测失败,请根据错误提示修配置信息。
如果确认配置没有问题,仍然初始化失败,请查看后台日志进行诊断。
初始化完成后,会自动跳转到登录界面,输入用户名密码即可开启DBus之旅。
管理员初始账号/密码:admin/12345678。