最近关注了一下集群Balancer的运转，由于集群非常大，并且有一些长时任务一只运行，磁盘不均衡的问题非常严重，所以快速的均衡数据是非常必要的。
但是从日志上看，我们的Balancer经常hang住。之前的做法是通过一个cron脚本进行检查，hang住一段时间后，自动的重启balancer。
这两天特意看了一下日志和代码，发现hang住的原因是由于npe导致的。具体的代码如下：

             // update locations
             for (String datanodeUuid : blk.getDatanodeUuids()) {
               final BalancerDatanode d = datanodeMap.get(datanodeUuid);
-              if (datanode != null) { // not an unknown datanode
+              if (d != null) { // not an unknown datanode
                 block.addLocation(d);
               }
             }

进行判断的对象错误了，将datanode改为d就好了。原先的做法会导致Balncer提交的copy任务抛出npe错误。

    for (Source source : sources) {
      futures[i++] = dispatcherExecutor.submit(source.new BlockMoveDispatcher());
    }

    // wait for all dispatcher threads to finish
    for (Future<?> future : futures) {
      try {
        future.get();
      } catch (ExecutionException e) {
        LOG.warn("Dispatcher thread failed", e.getCause());
      }
    }

在这部分，由于提交的BlockMoveDispatcher任务抛出了npe，同时在future.get没有设置超时，就会一只hang住。
解决方法：除了修改npe以为，还可以在future.get()设置超时时间，确保不会一直hang住。