写点什么

快速部署 DBus 体验实时数据流计算

  • 2020-02-09
  • 本文字数:1342 字

    阅读完需:约 4 分钟

快速部署DBus体验实时数据流计算

一、环境说明

说明 all in one 是一个单机版本 dbus 环境,是给用户快速体验 dbus 的功能,只是一个简单体验版,不能用于其它环境或者用途,具体包括如下:


1)基础组建:


  • zookeeper 3.4.6

  • kafka 0.10.0.0

  • storm 1.0.1

  • granfana 4.2.0

  • logstash 5.6.1

  • influxdb (需要单独安装, 参考如下步骤 3)

  • mysql (需要单独安装,参考如下步骤 2)


2)dbus 相关包:


  • dbus-keeper 0.5.0

  • dbus-stream-main 0.5.0

  • dbus-router 0.5.0

  • dbus-heartbeat 0.5.0

  • dbus-log-processor 0.5.0


3)mysql 数据源所需:


  • canal

1.1 环境依赖

安装 dbus-allinone 环境的建议配置如下


  • JDK 1.8.181 或 以上

  • CPU 2 核 或以上

  • 内存 16GB 或以上

  • 磁盘 20GB 或以上


注:一台 Linux centos 服务器, 该服务器最好是空机器,上面不要安装 dbus 所依赖的 zk,kafka,storm 等

1.2 修改域名

注:ip 是您的具体 ip,这里用 192.168.0.1 为例子


修改服务器/etc/hosts 文件设置相应的域名信息如下:


192.168.0.1 dbus-n1  
复制代码


修改服务器 hostname 命令如下:


hostname dbus-n1  
复制代码


配置好后,服务器 IP 和域名信息如下:


1563345290303052283.png

1.3 创建 app 用户及配置 SSH 免密登录

由于 dbus 启动拓扑采用的 ssh 调用 storm 命令,all in one 包中默认的调用 ssh 使用 app 用户和 22 端口,因此要正常体验 all in one 需要创建 app 账户和配置 ssh 免密登录,免密登录配置的从 dbus-n1 到 dbus-n1 的免密登录


配置完成后执行如下命令看时候配置成功


[app@dbus-n1 ~]$ ssh -p 22 app@dbus-n1  Last login: Fri Aug 10 15:54:45 2018 from 10.10.169.53  [app@dbus-n1 ~]$  
复制代码

二、前期准备

2.1 安装 Mysql

2.1.1 下载

推荐下载 Mysql 版本:5.7.19 地址:https://dev.mysql.com/downloads/mysql/

2.1.2 安装

解压 mysql-5.7.19-1.el6.x86_64.rpm-bundle.tar 包后,执行以下命令安装:


rpm -ivh mysql-community-server-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-client-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-common-5.7.19-1.el6.x86_64.rpm --nodeps  rpm -ivh mysql-community-libs-compat-5.7.19-1.el6.x86_64.rpm --nodeps  
复制代码

2.1.3 配置

在/etc/my.cnf 配置文件中,只是增加 bin-log 相关配置,其他不用修改,关注以下汉字注释部分


[mysqld]  \# dbus相关配置开始  log-bin=mysql-bin  binlog-format=ROW  server_id=1  \# dbus相关配置结束  
复制代码

2.1.4 启动

执行以下命令启动 mysql:


service mysqld start  
复制代码

2.2. 安装 InfluxDB

2.2.1 下载

推荐下载 InfluxDB 版本:influxdb-1.1.0.x86_64 地址:https://portal.influxdata.com/downloads

2.2.2 安装

在 dbus-n1 上切换到 root 用户,在 influxdb-1.1.0.x86_64.rpm 的存放目录下执行如下命令:


rpm -ivh influxdb-1.1.0.x86_64.rpm  
复制代码

2.2.3 启动

在 dbus-n1 上执行如下命令:


service influxdb start  
复制代码

2.2.4 初始化配置

在 dbus-n1 上执行如下命令:


\#登录influx  influx  
\#执行初始化脚本 create database dbus_stat_db use dbus_stat_db CREATE USER "dbus" WITH PASSWORD 'dbus!@#123' ALTER RETENTION POLICY autogen ON dbus_stat_db DURATION 15d
复制代码


本文转载自宜信技术学院网站。


原文链接:http://college.creditease.cn/detail/274


2020-02-09 15:10769

评论

发布
暂无评论
发现更多内容

学大数据需要具备什么基础知识点?

小谷哥

程序员培训班哪家教的比较好

小谷哥

大模型落地实践:同花顺大模型技术应用及优化

澜舟孟子开源社区

人工智能 自然语言处理 预训练模型

Kubernetes监控 Harbor

CTO技术共享

开源 签约计划第三季 8月月更

数读海南数字经济 | 2022海南数字经济发展指数发布

易观分析

数字经济 经济 海南

直播短视频源码——直播与短视频之间的区别如何解决

开源直播系统源码

软件开发 短视频源码 直播系统源码 直播源码 一对一视频聊天系统

焱融科技入选“2022 中关村国际前沿科技创新大赛”大数据与云计算领域 TOP10

焱融科技

文件存储 分布式文件存储 获奖

聊聊阻容降压原理 和 实际使用的电路

矜辰所致

电路设计 8月月更

开源一夏 | Java"实现"svn文件对比

六月的雨在InfoQ

svn 开源 文件对比 8月月更

leetcode 23. Merge k Sorted Lists 合并K个升序链表(困难)

okokabcd

LeetCode 数据结构与算法 栈和队列

头脑风暴:一和零

HelloWorld杰少

算法 LeetCode 数据结构, 8月月更

易观分析:2022年Q2中国跨境进口零售电商市场规模为1171.0亿元

易观分析

报告 跨境进口 零售电商市场

产品说明丨 iOS端使用 MobPush 快速集成方法

MobTech袤博科技

ios sdk MobTech袤博科技 mobpush

什么密码,永远无法被黑客攻破?

Authing

零基础web前端学习靠谱吗

小谷哥

兆骑科创海内外高层次人才大赛平台,双创赛事活动举办

兆骑科创凤阁

PHP 项目对接视频号原来如此简单,小白也能轻松完成【带附件】

CRMEB

免费云管平台有吗?咨询电话多少?

行云管家

云计算 企业上云 云管平台

Kubernetes Ingress 控制器讲解

CTO技术共享

开源 签约计划第三季 8月月更

StarRocks 在 58 集团全业务线的深度实践

StarRocks

数据库

Redis 介绍

武师叔

8月月更

权威发布! 开发人员需要关注的11种顶级恶意软件

SEAL安全

网络安全 软件安全 恶意软件 软件供应链安全

地址标准化服务AI深度学习模型推理优化实践

阿里云大数据AI技术

深度学习

2022-08微软漏洞通告

火绒安全

microsoft 终端安全 安全漏洞

HADOOP学习笔记之HDFS

薛定谔的猫

hadoop hdfs

兆骑科创创投平台,创赛承办,投融资对接,项目落地孵化

兆骑科创凤阁

在小程序中SVG的打开方式

Geek_99967b

小程序 SVG

基于SpringBoot的OnlineMusicPlayer项目

bug郭

签约计划第三季 8月月更

大数据开发课程靠谱吗?

小谷哥

Kubernetes Crossplane VCluster构建新集群

CTO技术共享

开源 签约计划第三季 8月月更

java课程学习难度怎么样

小谷哥

快速部署DBus体验实时数据流计算_数据库_DBus_InfoQ精选文章