在cdh集群中使用命令行 hdfs balancer -threshold 5 开启动态平衡输出日志,我们通常想知道这次动态平衡的数据量及进度信息,日志中包含了这些信息。日志信息如下:
19/04/21 07:23:57 INFO balancer.Balancer: Need to move 150.29 TB to make the cluster balanced.
Apr 21, 2019 7:25:28 AM 430 25.36 TB 150.29 TB 60 GB
日志信息介绍:
Need to move 150.29 TB to make the cluster balanced
这行表示整个集群还需要进行平衡的数据总量
Apr 21, 2019 7:25:28 AM 430 25.36 TB 150.29 TB 60 GB
Apr 21, 2019 7:25:28 AM 日志输出时间
430 表示此次平衡已经执行的次数
25.36TB 表示已经平衡的数据量
150.29 TB 表示剩余需要平衡的数据量
60 GB 表示每批次平衡的数据量大小。上面的430次,就是此次执行balance后 60GB/次 累计的。
本文解析了在CDH集群中使用hdfsbalancer进行动态平衡的日志信息,详细介绍了如何通过日志了解数据平衡的总量、已平衡数据量、剩余数据量及每批次平衡的数据量大小。

1000

被折叠的 条评论
为什么被折叠?



