【摘要】：近年來,隨著移動互聯網的不斷發展和市場需求的不斷拉動,移動應用軟件的數量以爆炸性的速度增長,移動應用商店也成為推廣應用軟件的最主要平臺之一。由于缺乏有效的監管,移動應用商店中的應用軟件良莠不齊,存在嚴重安全隱患,針對移動應用軟件進行安全檢測的需求與日俱增。基于此,本文設計并實現了面向移動應用商店的分布式爬蟲系統,用以采集移動應用商店中的應用軟件信息與樣本,為移動應用軟件的安全檢測提供數據支持。本文首先介紹了系統的研究背景,概述了前人在網絡爬蟲方面的研究成果,并對本系統所用到的關鍵技術進行了深入研究,包括移動應用商店網站結構的分析、網絡爬蟲設計原理和爬行策略的研究、Scrapy框架的介紹以及分布式網絡爬蟲架構的研究。基于相關關鍵技術的研究,本文提出了一種基于URL分類的抓取策略,并且對爬蟲系統的整體架構和各功能模塊作出了詳細設計,包括控制管理服務器、爬蟲服務器等關鍵模塊設計的詳細闡述。最后,本文論述了面向移動應用商店的分布式爬蟲系統的具體實現,并設計了幾組與傳統爬蟲系統的對照實驗,通過實驗數據證明了本文所提出的抓取策略的可行性與有效性,以及本文所使用的分布式爬蟲系統的高效性。本文主要完成了以下工作:1.為了提高系統的采集效率,同時使系統具有良好的可擴展性,本文設計并實現了混合模式的分布式爬蟲系統架構,克服了主從模式下由于爬行數量增加而導致系統性能下降的困難,能夠方便的進行爬行節點的添加與刪除,并制定了適用于移動應用商店網絡爬蟲系統的分布式任務下發策略。2.圍繞如何提高爬蟲系統的采集效率展開深入研究,結合移動應用商店網站結構的特點,在傳統的廣度優先抓取策略基礎上提出了一種基于URL分類的抓取策略,詳細介紹了該策略的算法,并做了設計與實現。3.為了提高軟件信息采集的可靠性,對動態網頁數據的采集做了詳細研究,使用了 selenium+phantomjs組合模擬瀏覽器、網絡抓包分析URL規律等方法來實現動態網頁數據的抓取。4.為了提高數據樣本的覆蓋率,本系統實現了對目前市場上主流的50多家第三方移動應用商店的應用軟件信息采集。
【圖文】：

圖２－１百度應用商店應用導航頁逡逑下面以百度應用商店為例，具體分析其網頁結構特征。進入百度應用商店首逡逑頁后，就能看到如圖２－１所示的應用分類導航信息，此版塊將應用商店中的所有逡逑應用按功能作用進行了分類，如社交通訊類、系統工具類等。以這些分類導航鏈逡逑接為入口，點擊進入以后，會看到應用按一定的方式排列呈現在頁面中，并以翻逡逑頁的形式列出了該類別中的所有應用，如圖２－２所示。從應用列表頁中能夠提取逡逑到應用詳細頁面的ＵＲＬ，進而訪問應用詳細頁，應用詳細頁中包含了應用的具逡逑７逡逑

百度應用商店應用列表頁百度李抓姍浮貓負，，按釋》苦眺工皿，帕汽萬瀚鑰勝
【學位授予單位】：北京郵電大學
【學位級別】：碩士
【學位授予年份】：2017
【分類號】：TP391.1;TP393.092

【參考文獻】

相關期刊論文 前10條

1 南磊;;基于Hadoop的圖書推薦系統研究與設計[J];計算機與數字工程;2016年06期

2 鄒科文;李達;鄧婷敏;李嘉振;陳義明;;網絡爬蟲針對“反爬”網站的爬取策略研究[J];電腦知識與技術;2016年07期

3 馬志強;張澤廣;李昊u&;劉利民;;基于分布式架構的主題信息采集系統[J];計算機工程與設計;2015年04期

4 高榮;;基于Scrapy和casperjs的電子商務網站信息采集系統研究[J];數字技術與應用;2015年03期

5 楊永光;;代碼簽名在手機應用商店的應用[J];信息安全與通信保密;2014年10期

6 陳薈慧;舒云星;林麗;;Web語料抓取中基于相似度的URL過濾規則生成算法[J];模式識別與人工智能;2014年07期

7 史寶明;賀元香;吳崇正;;主題搜索引擎中爬蟲搜索策略的研究[J];計算機工程與應用;2014年02期

8 方明科;王煜霞;;一種動態Web信息提取方法的設計與實現[J];管理工程師;2011年03期

9 孫立偉;何國輝;吳禮發;;網絡爬蟲技術的研究[J];電腦知識與技術;2010年15期

10 陳俊彬;;Web信息抽取策略及其實現方法研究[J];科技情報開發與經濟;2008年23期

相關博士學位論文 前1條

1 何川;分布式信息檢索中的若干重要問題研究[D];北京郵電大學;2012年

相關碩士學位論文 前7條

1 孔維健;基于圖聚類的招投標數據挖掘研究與應用[D];中山大學;2015年

2 李婷;分布式爬蟲任務調度與AJAX頁面抓取研究[D];電子科技大學;2015年

3 姚鑫;分布式手機軟件應用搜索爬蟲系統設計與實現[D];北京郵電大學;2015年

4 姚富貴;基于分布式的商品信息網絡爬蟲系統的設計與實現[D];華中科技大學;2014年

5 趙鵬程;分布式書籍網絡爬蟲系統的設計與實現[D];西南交通大學;2014年

6 蘇小魯;基于DOM的HTML網頁正文信息抽取模塊的設計與實現[D];北京郵電大學;2011年

7 王星;新聞網頁抽取技術的研究與實現[D];河北工業大學;2011年

本文編號：2568839