Ooize

更新时间：2022-04-08

什么是Ooize

Oozie是一个用于管理Apache Hadoop作业的工作流调度程序系统。

Oozie Workflow job是由多个Action组成的有向无环图（DAG）。
Oozie Coordinator job是根据时间（频率）和数据可用性触发的可重复执行的Oozie Workflow job（简单讲就是根据时间或数据条件，规划workflow的执行）。
Oozie与Hadoop技术栈的项目集成，支持多种类型的Hadoop作业（例如Java map-reduce，Streaming map-reduce，Pig，Hive，Sqoop和Distcp，Spark）以及系统特定的工作（例如Java程序和shell脚本）。
Oozie是一个可水平扩展，可靠和可使用扩展插件（scalable, reliable and extensible）的系统。

Ooize常见的几个应用场景

1、统一调度hadoop系统中常见的mr任务启动、 hdfs操作、 shell调度、 hive操作等。

2、使得复杂的依赖关系、时间触发、事件触发使用xml语言进行表达，开发效率提高。

3、一组任务使用一个DAG来表示，使用图形表达流程逻辑更加清晰。

4、支持很多种任务调度，能完成大部分hadoop任务处理。

5、程序定义支持EL常量和函数，表达更加丰富。

Oozie的功能模块介绍

模块

Workflow：顺序执行流程节点，支持fork（分支多个节点），join（合并多个节点为一个）。
Coordinator：定时触发workflow。
Bundle：绑定多个Coordinator。

Workflow常用节点

控制流节点（Control Flow Nodes）：控制流节点一般都是定义在工作流开始或者结束的位置，比如start,end,kill等。以及提供工作流的执行路径机制，如decision，fork，join等。
动作节点（Action Nodes）：负责执行具体动作的节点，比如：拷贝文件，执行某个Shell脚本等等。

Ooize使用

准备百度智能云环境。

登录控制台，选择“产品服务->MapReduce BMR”，点击“创建集群”，进入集群创建页，并做如下配置：

1. 创建一个bmr2.3.0镜像的集群，选择hue+oozie

用户可以根据需求选择对应的服务，选择完成后填写集群的基础信息和实例规格，点击购买即可，建议选择新建高可用集群。

图片.png

2.使用Ooize调度作业

1.命令行调度

1.1本地创建任务文件夹(比如 hive)，编写 hive/job.properties

vim hive/job.properties

将配置中host改为所在集群机器host

job.properties.png

nameNode=hdfs://master-22c8a0f:8020
resourceManager=master-22c8a0f:8050
queueName=default
jdbcURL=jdbc:hive2://master-22c8a0f:10000/default
examplesRoot=examples
oozie.use.system.libpath=true
oozie.wf.application.path=${nameNode}/user/${user.name}/${examplesRoot}/apps/hive

1.2 编写 workflow.xml

script 填写sql文件名称

workflow.xml.png

1.3 编写任务脚本

vim hive/show.q
create database hivetest;
create table hivetest.student(id int, name string, age int) row format delimited fields terminated by ',' STORED AS TEXTFILE;
insert into hivetest.student values(1, 'name1', 12);

1.4上传文件夹到 job.properties 中 oozie.wf.application.path 指定的 hdfs 路径

hdfs dfs -put -f hive/ /user/hdfs/examples/apps/

1.5执行命令提交 oozie 任务

/opt/bmr/oozie/bin/oozie job -oozie http://{oozie-server eip}:11000/oozie -config hive/job.properties  -run

提交后会得到 oozie jobId

1.6使用 oozie jobId 可以查看任务运行详情

/opt/bmr/oozie/bin/oozie job -oozie http://{oozie-server eip}:11000/oozie -info 0000079-211118162829239-bmr-oozie-W

[更多详细样例查看 apache oozie 官网]

2.hue调度

使用 hue 交互式开发 oozie 任务，请参考Hue官方开发示例。

3.访问Ooize URL

1.登录控制台，选择“产品服务->MapReduce BMR”，点击已创建的集群，进入该集群详情页。

2.在“相关应用和工具”栏中可以查看“Ooize Url”。

图片.png

Ooize Url 默认不可点击，需要在给对应的master实例绑定EIP后并且开通对应的端口后才可以访问。具体需要绑定EIP的实例ID可以将鼠标指针上浮在Ooize Url 叹号处查看。绑定EIP见绑定EIP。若无EIP，请先于产品【网络——弹性公网IP EIP】创建EIP。详见：创建EIP实例。

3.给BMR安全组添加11000端口访问规则。在给对应的节点绑定eip后，在集群详情-网络处可以查看对应BMR安全组ID。

图片.png