[Hive on Tez] Input path does not exists error

2021年11月21日 阅读数:6
这篇文章主要向大家介绍[Hive on Tez] Input path does not exists error,主要内容包括基础应用、实用技巧、原理机制等方面,希望对大家有所帮助。

Issue

hive metadata有分区信息 partition=x, hdfs路径不存在分区目录partition=x时。执行一些hive sql就会报错: org.apache.hadoop.mapred.InvalidInputException: Input path does not exist。sql

这个问题算是Tez很日常的目录不一致问题了。apache

见 issue:  https://issues.apache.org/jira/browse/HIVE-13781oop

影响:Hive on Tez. Hive3url

解决方案

  • 在执行hive sql执行保证hdfs目录和hive metadata的一致性
  • 回退hive on mr
  • 外表drop掉全部分区,执行msck repair table修复全表(或者使用mask repair table sync partitions同步hdfs上的分区文件夹信息)
下一篇: Hadoop 高可用