无论是自研调度工具,还是技术选型,都需要实先确定自己的业务需求,今儿根据具体的业务需求进行相关的研究与开发工作。

   主要是个人记录日常事物,读者仅供参考。

一、调度工具目标

  1. 支持依赖配置:任务间依赖
  2. 支持定时任务与临时任务,灵活配置与启动停止
  3. 支持分布式运行任务
  4. 支持触发式运行任务:存在依赖的任务,上游任务运行结束,可以触发下游任务的运行
  5. 软件要求:
    A、稳定性
    B、易用性
    C、任务支持配置管理
    D、尽量支持WEB任务状态管理【查看、更新、运行、结束等】等操作
    E、任务管理【上传任务文件、生成任务、添加依赖、删除任务等】等操作
    F、支持配置管理【配置运行参数、运行日期、手动运行等】等操作
    G、支持线程数管理【同时并发数据、JVM配置、垃圾回收器等JAVA启动配置】
    H、负载均衡

二、可选软件

  1. Azkaban
  2. Oozie
  3. Airflow
  4. Github任务调度参考:
    这里写图片描述

本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!

Apache-Kylin编译CDH5.12.X 上一篇
HiveServer遇到一个问题 下一篇