parquet is not a Parquet file (length is too low: 0)

当执行SparkSQL查询时,如果遇到isnotaParquetfile的错误,可能是由于对应分区的数据已被删除,变成空分区。删除空分区的解决方案是使用ALTERTABLE语句,例如:`ALTERTABLEtest_db.t_test_rtDROPPARTITION(ds=20230511);`。确保在删除前正确处理数据。

当执行 SparkSQL 遇到这个错误时,可能是因为对应分区的数据全被删除了,变成了空分区,解决办法是删除该分区。

hdfs://warehouse/test.db/t_test/20230511/eaf5f003-5658-4b19-b706-ac487cebad7e-0_3-10-79_20230421093519585.parquet is not a Parquet file (length is too low: 0)

删除指定分区语句:

ALTER TABLE test_db.t_test_rt DROP PARTITION (ds=20230511');
评论
添加红包

请填写红包祝福语或标题

红包个数最小为10个

红包金额最低5元

当前余额3.43前往充值 >
需支付:10.00
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明:

1.余额是钱包充值的虚拟货币,按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载,可以购买VIP、付费专栏及课程。

余额充值