Hive提供了多种访问方式,其中JDBC是一种。通常通过JDBC访问,可以规避用户对HDFS、Metastore的直接访问。本文研究研究一下HiveJDBC执行任务的流程。

JDBC执行流程

Hive客户端与服务端的交互

  主要流程分为三条线:

  1. 执行任务,无返回
    执行完成,获取执行结果[boolean/int],直接结束
  2. 执行任务,返回数据
    执行完成,通过接口获取数据,用户执行其他相关操作
  3. 执行任务,查询日志
    执行任务的同时,可以获取执行日志。通过单独的接口,可以分别获取日志与数据。

  使用JDBC查询日志,存在锁竞争的问题,因而表现出来的现象就是通过JDBC获取日志比较慢。具体可以参考:hive-jdbc获取查询日志慢的问题发现与解决


本博客所有文章除特别声明外,均采用 CC BY-SA 4.0 协议 ,转载请注明出处!

Springboot报错 上一篇
Hive提交任务流程 下一篇