當今人類社會已經進入高速發展的信息化時代，各種數據信息呈爆炸性增長的趨勢，計算機存儲系統中所存儲的數據信息已經越來越多，并且其中包含了大量的冗余數據，這些冗余數據還會隨著時間的推移而日益增多，這不僅會浪費大量的存儲空間，而且會降低存儲系統的性能，導致數據管理成本增加等諸多問題。因此，研究數據縮減技術以減少存儲系統中的冗余數據對優化和提高存儲系統的性能有重要的理論意義和現實意義。 重復數據刪除技術是一種數據縮減技術，它可以消除存儲系統中的大量冗余數據，提高存儲空間利用率和減少數據管理成本，現在已經成為計算機存儲領域的一個研究熱點。 目前重復數據刪除技術所面臨的主要技術挑戰是如何通過提高重復數據的刪除效率來改善存儲系統的性能問題。重復數據刪除效率主要體現在重復數據刪除過程中的重復數據刪除策略、重復數據的重刪率和重復數據檢測速度等方面，它對提高存儲空間的利用率和優化存儲系統性能有重要的影響作用。因此，本文以提高存儲系統的重復數據刪除效率為技術主線，重點對重復數據刪除架構、全局重復數據刪除策略、加快重復數據檢測速度的內存索引技術和基于流水線的重復數據檢測方法等關鍵技術問題進行了深入研究。論文作...

【文章頁數】：115 頁

【學位級別】：博士

【部分圖文】：

圖2-1集群式兩級重復數刪除體系架構

圖2-1集群式兩級重復數刪除體系架構CTDDA架構主要包括客戶端、元數據服務器（Meta-DataServer，MDS）和存儲節點集群。為了達到較高的重刪效果，CTDDA架構可以進行文件級和數據塊級兩級的重復數據刪除；為了提高性能，系統采用了包含多個存儲節點的集群式架構....

圖3-10局部與全局重復數據刪除效果對比

c)八個存儲節點圖3-10局部與全局重復數據刪除效果對比.0版本內部大概只包含0.22%的冗余數據，所以當有多個存儲節除技術與全局重復數據刪除技術所刪除的冗余數據比例差別不

圖3-11FSA更新頻率對重刪率的影響

更新的內容在1%~10%之間時發送更新信息，或者每隔一段時間發送更新，這段時間的長度也應該保證摘要信息的更新幅度在1%~10%之間。圖3-11給出了對6個版本的Linux驅動源碼連續備份過程中按不同頻率更新FSA時全局重刪率的變化情況，其中更新頻率為0....

圖3-12備份新合成數據集的吞吐率

表3-5不同存儲節點數所對應的誤測率存儲節點數誤測率分布到每個節點的塊數每個節點誤判的塊數10.1%3,000,000300020.0082%1,500,00012340.00057%750,0004.360.00012%500,0000.680.....

本文編號：3999420