分級存儲系統通常根據訪問頻率將數據分層:將訪問頻率最高的數據放在快速存儲設備中(熱數據層),將訪問頻率最低的數據存儲在慢速存儲設備中(冷數據層),將訪問頻率介于兩者之間的數據放在中速存儲設備中(溫數據層)。分布式文件系統通常使用多副本技術來保證系統的可靠性和可用性,比如在集群的不同節點上保存數據的三個副本,多副本技術通常在熱數據層被使用。類似于Reed Solomon的糾刪碼技術(Erasure Code)正越來越多被使用,因為糾刪碼技術能夠進一步地減小存儲開銷,但是其提供了較低性能的I/O和可用性。所以糾刪碼技術被更多地用來存儲冷數據(比如冷存儲層)。現有系統使用三副本復制,糾刪碼技術或將兩者融合合來實現異構存儲系統。在這些實現中,多副本技術和糾刪碼技術的融合表明:兩種技術在I/O性能和存儲成本方面存在著巨大差距,這導致將數據從一種形式遷移到另一種形式將產大巨大的系統開銷。因此,現有的方法不適用于溫數據層實現,特別是在分層存儲系統中。為了解決這個問題,在本文中我們引入了Warm Cache,一種用于存儲溫數據的新數據層:將一個副本通過糾刪碼技術存儲,另一個副本則存儲在主存儲數據層中。... 

【文章來源】：上海交通大學上海市 211工程院校 985工程院校 教育部直屬院校

【文章頁數】：67 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
Symbols definition
Chapter 1 Introduction
    1.1 Research Background
    1.2 Value of our research
    1.3 Research goal
    1.4 Organization
Chapter 2 Related work
    2.1 Replication
    2.2 Erasure coding
    2.3 Comprehensive solutions by combining replication and ECs
    2.4 Caching in DFS
    2.5 Prefetching and cache warm-up
    2.6 Motivation of our idea
Chapter 3 Design of Warm Cache
    3.1 Key Idea
    3.2 Identify data temperature and data layer threshold
    3.3 Data allocation and burst algorithm
    3.4 Warm data layer fault recovery
    3.5 Scalability
    3.6 Read and write operations
    3.7 Burst scenario analysis
Chapter 4 Evaluation
    4.1 Methodology
    4.2 Setup
    4.3 Defining parameters
    4.4 Experimental results
    4.5 Analysis
    4.6 Conclusion
Summary
REFERENCES
Acknowledgement
Academic papers published during degree study



本文編號：2910318