機器學習算法離不開數據。隨著數據的爆炸式增長,單臺機器無法分析如此大規模的數據。同時,在某些場景中,數據本身分布式地存儲在不同的設備中,由于隱私問題,無法將這類數據收集到某個設備集中處理。基于上述原因,許多學者提出了分布式機器學習算法。在這些算法中,數據可以分布在多臺機器中,這些機器可以通過某種方式實現信息的交換,從而可以協同合作地學習一個更加強大有效的模型。傳統的分布式機器學習假設每個計算節點都是可靠的,然而在實際應用問題中并非如此。一些計算節點可能因為遭到了惡意攻擊或篡改,或者因為機器本身的故障或數據錯誤,會發送錯誤信息給中心節點,從而導致模型訓練失敗。相關研究把這些發送錯誤信息給中心節點的計算節點稱為拜占庭節點,存在拜占庭節點的分布式計算模型稱為拜占庭錯誤模型。本文主要研究在拜占庭錯誤模型下的分布式的魯棒優化算法。在master-worker結構中,假設一部分計算節點是拜占庭節點。在訓練模型的過程中,由于數據損壞、通信錯誤或者惡意攻擊,拜占庭節點在每次通信會發送任意的錯誤信息給中心節點,從而破壞模型的協同訓練。針對機器學習領域常見的隨機優化問題,本文提出了一種能夠抵抗拜占庭攻擊的...

【文章頁數】：57 頁

【學位級別】：碩士

【部分圖文】：

圖３．１隨機梯度下降算法的步驟圖示??？＝－■

?第３章基于模型聚合的拜占庭魯棒優化算法???Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…丨，＜?Ｍ??１—￣，，一－￣＾￣￣＊＊￣＞＿、?＾￣￣Ｉ?、??Ｔ?ｒｉ?Ｔ＾－ｐ＾??■?ｄａｔａｔ?？?？?？?！?ｄａｔＯｆ．?＼?？?ｄａｍｒ＾ｉ＼?？?？?？?ｉ?ｄａｔａｍ??１?…?ｒ?....

圖３．２?ＲＳＡ的步驟圖示??？－？

的迭代值ｘｇ；??８根據式子（３．９）或者式子（３．１２）更新本地迭代值。??Ｍａｓｔｅｒ??Ｗｏｒｋｅｒ?…?Ｓｊ?…Ｎ??￣：！?￣?—?—?＾—．．???：?．?卜￣?一＾?——－—－Ｉ??????ｄａｔ〇ｉ?；?ｄａｔｃｔｒ?＼?ｄａｔａｒ＾ｘ＼?？?？?？?ｄａｔａｍ?....

圖３．５髙斯攻擊下Ｔｏｐ＊ｌ準確率（ａ）ｇ?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

圖３．６常數向量攻擊下Ｔｏｐ－１準確率（ａ）?９?＝?４?（ｂｈ?＝?８??

?ｉ．?？?ＧｅｏＭｄｅ?ｏ．０－４?？?ＧｅｏＭｄｅ??°?０?４?Ｋｒｕｍ?°?▼－▼?Ｋｒｕｍ??０．３?會，，Ｍｅｄｉａｎ?〇?２?？－？Ｍｅｄｉａｎ??〇２?＾?ＲＳＡ?．會……ＲＳＡ??？－？ＳＧＤ?？－？ＳＧＤ??°?１０００?２０００?３０００?４０００?５０００....

本文編號：3996347