Flink Standalone Cluster

一、部署模式

Flink 支持使用多种部署模式来满足不同规模应用的需求，常见的有单机模式，Standalone Cluster 模式，同时 Flink 也支持部署在其他第三方平台上，如 YARN，Mesos，Docker，Kubernetes 等。以下主要介绍其单机模式和 Standalone Cluster 模式的部署。

1. 写在前面 Flink被誉为第四代大数据计算引擎组件，即可以用作基于离线分布式计算，也可以应用于实时计算。Flink的核心是转化为流进行计算。Flink三个核心：Source,Transformation,Sink。其中Source即为Flink计算的数据源，Transformation即为进行分布式流式计算的算子，也是计算的核心，Sink即为计算后的数据输出端。Flink Source原生支持包括Kafka,ES,RabbitMQ等一些通用的消息队列组件或基于文本的高性能非关系型数据库。而Flink Sink写原生也只支持类似Redis，Kafka,ES,RabbitMQ等一些通用的消息队列组件或基于文本的高性能非关系型数据库。而对于写入关系型数据库或Flink不支持的组件中，需要借助RichSourceFunction去实现，但这部分性能是比原生的差些，虽然Flink不建议这么做，但在大数据处理过程中，由于业务或技术架构的复杂性，有些特定的场景还是需要这样做，本篇博客就是介绍如何通过Flink RichSourceFunction来写关系型数据库，这里以写mysql为例。

• Flink 案例开发数据清洗、数据报表