Flink集群安装部署：从Standalone到Yarn模式

Flink是一个开源的流处理和批处理框架，用于构建实时数据流的应用程序。它可以处理无界和有界数据流，并具有高吞吐量、低延迟和高容错性的特点。Flink集群的安装和部署可以根据不同的需求选择不同的模式，其中最常用的模式是Standalone模式和Yarn模式。
在Standalone模式下，Flink集群的部署相对简单，只需要在集群节点上安装Flink和相关的依赖，然后启动Flink JobManager和TaskManager即可。这种模式适用于小型集群或开发环境。
然而，对于生产环境或大型集群，我们通常会选择Yarn模式。在Yarn模式下，Flink应用程序作为Yarn应用程序运行，可以利用Yarn的资源管理和调度功能。Yarn模式下的部署需要配置Hadoop集群，并将Flink应用程序提交到Yarn上运行。
在完成Flink standalone集群部署后，使用Yarn模式提交作业，Flink on Yarn不需要启动Flink集群，只需要启动Hadoop集群即可。在测试官方案例之前，需要在flink-conf.yaml文件中添加classloader.check-leaked-classloader: false。在命令行直接输入以下内容：export HADOOP_CLASSPATH=hadoop classpath，然后使用Per-Job模式启动单个作业（要提前启动hadoop集群，命令：start-all.sh）。
为了准备Flink standalone+yarn standalone模式的部署，需要做好以下准备工作：

1. 集群节点划分：根据实际需求进行节点划分，一般可以选择3台节点（一主两从）作为Flink集群节点，节点名称可以为主节点flink105、从节点flink106和flink107。
2. JDK：确保每个节点上安装了JDK 1.8以上版本，因为Flink需要Java运行环境。
3. SSH免密码登陆：为了方便管理，需要实现SSH免密码登陆到各个节点。
4. 主机名hostname：确保主机名的配置正确，文件/etc/hosts中应该有每个节点的主机名与IP地址的映射关系。
5. 关闭防火墙：为了确保网络通信畅通，需要关闭防火墙，可以使用命令systemctl stop firewalld.service来关闭防火墙。
6. Flink standalone模式开始搭建：首先上传Flink安装包到Linux环境中，然后解压文件到指定目录下。接着修改配置文件中的相关参数，如jobmanager.rpc.address、taskmanager.numberOfTaskSlots等。最后启动Flink JobManager和TaskManager即可完成Flink standalone模式的部署。
   总结：本文介绍了Flink集群的安装和部署过程，包括在Standalone模式和Yarn模式下的部署步骤。通过本文的介绍，您应该能够了解如何进行Flink集群的安装和部署，并选择适合您需求的部署模式。在实际操作中，请根据您的具体需求和环境进行相应的调整和配置。