今天用在hive中创建了一个表,输入数据的格式是lzo。然后select查询的时候,发现查出来的很多记录字段都是NULL类型的。见下图。
仔细检查了一下数据输入的格式,以及表的定义,列的定义,发现都没有任何问题。
在网上搜了一下,发现都没有碰到过类似问题。于是又看了下输入目录,如下图,
发现有很多lzo的索引文件。是不是索引文件的问题?索性把所以的索引文件都删掉,然后重新查询,发现问题没有了!
所以,我有点怀疑,是不是lzo的索引文件被hive当做输入了,所以导致有部分字段全部为NULL的列?还是因为hvie版本的问题?公司环境为hadoop1.0.3,hive为0.8.1
哪位大神能给解答一下?
作者在使用Hive创建并查询LZO格式的数据表时遇到了大量NULL值问题。通过删除索引文件解决了该问题,但原因仍不明。寻求帮助以理解是否与LZO索引有关或是否为Hive版本问题。
619

被折叠的 条评论
为什么被折叠?



