QCon北京「鸿蒙专场」火热来袭!即刻报名,与创新同行~ 了解详情
写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10758

评论

发布
暂无评论
发现更多内容

新工具:CloudBees Pipeline Explorer改善日志查看体验,简化复杂Jenkins流水线故障排除

龙智—DevSecOps解决方案

pipeline

PAM案例——某云服务商

尚思卓越

网络安全 堡垒机 特权账号管理

期待2024年初以太坊的最新升级,降本增效,利好Layer2 !

币离海

Native Rawfile开发指导

HarmonyOS开发者

HarmonyOS

2023年,梦想实现的一年!

SAP虾客

年终总结 2023年

Blast 凭什么可以自带收益?

币离海

怎样利用SD-WAN进行异地组网?

Ogcloud

网络 SD-WAN 组网

GreatSQL登陆Arch Linux:成功的数据库安装之旅

GreatSQL

数据库 安装 greatsql

🎉开发者的福音:TinyVue 组件库文档大优化!类型更详细,描述更清晰!

OpenTiny社区

开源 前端 UI组件库

精准捕捉异常时刻——从写好事件标题与内容开始

观测云

运维 监控告警

软件测试/人工智能丨如何自学人工智能软件测试

测试人

人工智能 软件测试

软件测试/人工智能丨三目运算符

测试人

人工智能 软件测试

SD-WAN解决企业国际互联组网需求

Ogcloud

网络 SD-WAN 网络管理

性能提升30%,陌陌应用性能持续剖析产品化实践

童子龙

APM javaagent 应用性能监控产品

请不要再把String或Style直接传递给自定义的组件了!

编程的平行世界

flutter android

软件测试/人工智能丨运算符优先级

测试人

人工智能 软件测试

软件开发降本、增效、提质的产物——低代码平台

互联网工科生

软件开发 低代码开发 JNPF

低代码开发平台通常提供哪些功能?发挥什么作用?

树上有只程序猿

软件开发 低代码 JNPF

SD-WAN VS MPLS :怎么选择最合适的网络连接方案?

Ogcloud

网络 SD-WAN 组网 MPLS

英特尔展示下一代晶体管微缩技术突破,将用于未来制程节点

E科讯

需求测试的实践与思考

老张

工程实践 质量保障 需求评审

软件测试/人工智能丨人工智能会替代软件测试工程师吗

测试人

人工智能 软件测试

web组态(BY组态)接入流程

Geek_195e67

物联网 工业互联网 web组态 组态 by组态

企业业务场景如何实现自动化连接?

RestCloud

APPlink

GitHubMySQL升级8.0复盘【译】

FunTester

ONLYOFFICE协作空间2.0:文档协作更便捷

陈橘又青

协同办公 协同办公软件

软件测试/人工智能丨字符串

测试人

人工智能 软件测试

E往无前 | 腾讯云大数据 ElasticSearch 高级功能:Cross Cluster Replication实战

腾讯云大数据

ES

如何用ChatGPT来提高独立站博客的生产力

九凌网络

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章