一种面向海量存储系统的高效元数据集群管理方案
肖中正 陈宁江 魏峻 张文博
高效的、去中心化的元数据管理方案对大型分布式存储系统的可靠性、可扩展性起至关重要的作用.针对基于Hash划分和基于子树划分的元数据管理方案扩展代价巨大、对集群变动敏感等问题,提出一种基于一致性 Hash结构的元数据服务器(metadata server ,MDS)集群化方案———CH‐MMS (consistent Hash based metadata management schema).CH‐MMS 在一致性 MDS 集群上引入虚拟MDS(Virtual MDS),有效平衡MDS集群负载;将Standby机制与延迟更新策略融合并应用于MDS集群,实现MDS快速失效恢复以及集群变动时零数据迁移量.阐述了CH‐MMS的体系结构,介绍了核心数据结构layout‐table、虚拟MDS结构、延迟更新机制及相关算法,并对CH‐MMS扩展性、容错性作了定性分析.最后通过原型系统和模拟实验说明,CH‐MMS具有元数据平衡分布、快速失效恢复、灵活的扩展性以及零结点变动数据迁移量等特点,能满足数据量不断增加的大规模存储集群元数据灵活、高效管理的需求.