爱宝儿
所有文章 分类 大数据 标签 关于
爱宝儿
https://www.gravatar.com/avatar/dfba7b9af4258f14b883b676b32bf3db?s=240&d=mp

爱宝儿

游戏开发及物联网大数据集群维护及部署开发，数据存储及相关设计，大数据、ETL、Flink、kafka，hadoop框架等多种技术开>发技术。涵盖语言涉及Java、Go、Python、C、C#等。

仅供学习参考

大数据环境部署

MrLovelyCbb 发布于  收录于 Linux Centos

../../images/weixin_public.png

centos 系统安装基础 开发环境

1
2

yum groupinstall "Development Tools"
yum install net-tools -y

配置免密切换生成

1
2
3
4

ssh-keygen
ssh-copy-id root@192.168.75.41
ssh-copy-id root@192.168.75.42
ssh-copy-id root@192.168.75.43

配置集群主机名映射

1

/etc/hosts

配置集群系统环境变量

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38


edit /etc/profile
或
export JMX_PORT=9999

# JAVA
JAVA_HOME=/usr/local/java
PATH=$PATH:$JAVA_HOME/bin
CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export JAVA_HOME  CLASSPATH  PATH

# ES_JAVA_HOME
ES_JAVA_HOME=/bigdata/elasticsearch7/jdk
export PATH=$ES_JAVA_HOME/bin:$PATH
export PATH

# Zookeeper
export ZK_HOME=/bigdata/zookeeper
export PATH=$ZK_HOME/bin:$PATH
export PATH

# Kafka
export KAFKA_HOME=/bigdata/kafka
export PATH=$KAFKA_HOME/bin:$PATH
export PATH

# Flink
export FLINK_HOME=/bigdata/flink
export PATH=$FLINK_HOME/bin:$PATH
export PATH

#hodoop
export HADOOP_HOME=/bigdata/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME/sbin}:$PATH

#HBASE
export HBASE_HOME=/bigdata/hbase
export PATH=$PATH:$HBASE_HOME/bin

选配JMX_PORT

1
2
3

edit /etc/profile
或
export JMX_PORT=9999

Zookeeper 集群环境命令行

1
2

zkServer.sh start      --- 启动集群服务
zkServer.sh stop       --- 结束集群服务

1
2

start-cluster.sh       --- 启动集群服务
stop-cluster.sh        --- 结束集群服务

Hdfs 集群环境命令行

1
2

start-dfs.sh           --- 启动集群服务
stop-dfs.sh            --- 结束集群服务

Hbase 集群环境命令行

1
2

start-hbase.sh         --- 启动集群服务
stop-hbase.sh          --- 结束集群服务
阅读全文
 Centos, Linux

大数据之实时数据分析之Apache Doris数据库

MrLovelyCbb 发布于  收录于 Bigdata

../../images/weixin_public.png

https://www.sohu.com/a/693944287_355140

大数据之实时数据分析之Apache Doris数据库

我们业务应用场景分为以下四类，这四类场景的特点和需求分别是：

  • 看板类 ： 包括 Web/ 移动端数据看板和大屏可视化，用于展示景区重要场所的数据，如业务播报（实时在园人数监控、车船调度管理等）、应急管理监控（客流密度监控、景区消防预警、景区能耗监控等）。 其组成特点一般为业务汇总指标和监控指标报警，对数据时效性要求较高。
  • 报表类 ： 数据报表以图表形式展示，主要服务于各业务部门的一线业务人员。 会更多关注垂直业务的数据覆盖程度，会有钻取需求（也可能通过不同报表来体现不同数据粒度）。 一般以景区的业务部门为单位构建报表栏目和分析主题，除财务结算类报表外，一般可接受 T+1 的报表时效。
  • 分析类 ： 自助分析基于较好的数据模型表（数据宽表）实现，对分析人员有一定的数据理解和操作需求，基于我们提供的 BI 分析平台，业务人员可基于此数据范围通过拖拽的方式组合出自己的数据结果，灵活度较高。 该场景对数据时效要求不高，更多关注业务数据沉淀和与往期历史数据的对比分析侧重架构的 OLAP 能力。
  • 服务类 ： 一般对接三方系统，由数据中台提供数据计算结果。 如画像标签等数据，通过数据接口控制权限提供对外数据服务与其它业务系统集成，需要新架构能够提供稳定的数据服务。

https://p2.itc.cn/q_70/images03/20230703/8a0df82662554562992ab6768d11ee05.jpeg

阅读全文
 Apache Doris, Bigdata