JournalNode性能测试

一、背景

 

    Hadoop 2 开始采用JournalNode作为共享存储,JournalNode由NameNode部分的QuorumJournalManager,IPCLoggerChannel及JournalNode Server端的JournalNodeRPCServer组成。

 

    IPCLoggerChannel由一个JournalNode对应一个线程去完成日志的发送,保证日志的有序性,同时根据Paxos算法,绝大多数JournalNode完成回应就算完成日志发送。

 

    原先Hadoop 1采用的是本地记录Editlog并在远程NFS上记录一份,使用JournalNode后,我们需要获得相应的数据来比较JournalNode性能及对NameNode的影响。

 

 

 

二、测试方法

 

    分别采用1,3,5台机器组成journalNode,测试每分钟写入的日志数,并且与大集群相比,得到比较结果。

 

    以下数据是从大集群获得的每分钟edit transaction数,一般的峰值不到10万。


Jn2

    以下是单节点JournalNode接收数量:

Jn1

    五个节点JournalNode接收数量:

Jn3

    综合上述数据,我们可以确定,即使使用journalnode,也能保证我的NameNode的并发性能。

Print Friendly

jiang yu

Leave a Reply