【摘要】：數據是互聯網中最寶貴的資源之一,海量數據中蘊含著巨大的潛在價值,深入挖掘這些數據對于互聯網電子商務、企業決策與推廣、信息傳播與預測均具有重要的意義。隨著Web2.0網絡應用與移動終端設備的發展,社交網絡的普及率與使用率日益提高。相比傳統網絡應用形式,社交網絡具有用戶主體性強、網絡特征多樣、數據內容豐富、群體交互密切、信息傳播迅速等特點。傳統的研究方法與模型難以準確地描述社交網絡中用戶的行為特征,因而難以實現符合社交網絡特性的數據挖掘與分析。鑒于此,論文結合交叉學科的研究方法,針對現有算法與模型運用于社交網絡時存在的效果與性能問題,分別從互聯網數據采集與處理、社交網絡數據實證分析、用戶影響力與行為分析、用戶個性化推薦算法以及基于機器學習的信息預測算法等角度,對社交網絡中的數據挖掘方法進行了研究。 論文的研究工作得到了國家自然科學基金項目(No.61172072、61271308)、北京市自然科學基金項目(No.4112045)和高等學校博士學科點專項科研基金(No.20100009110002)的支持,論文的主要研究內容如下： 1.研究了互聯網數據采集與預處理技術。針對數據挖掘相關研究對于數據樣本精度與模型處理性能的具體要求,提出了一套數據抓取與處理的完整方案。首先,優化了基于Nutch的分布式網絡爬蟲系統,實現了爬蟲系統的并行化同步運行方式,提升了爬蟲處理性能。之后,重點研究了網頁信息解析算法,提出了基于規則與基于wrapper的網頁解析模型。基于規則的網頁解析模型邏輯簡單且普適性強,適用于互聯網海量網頁的處理工程；基于wrapper的網頁解析模型具有較高的信息抽取精度,且能夠實現來自相同網站信息的結構化處理。最后,研究了網頁快速消重算法與自動摘要算法,以到達降低樣本特征的數量與維度,提高數據質量的目的。 2.實證分析了微博社交網絡特征與用戶特征。對新浪微博在線數據進行了多維度分析,包括用戶特征、微博特征、時間與演化特征等,探討了作用于用戶影響力與微博傳播關系的主要因素。在上述分析的基礎上,提出了一套微博社交網絡用戶權重計算模型。該模型由用戶活躍度特征與基于HITS算法的用戶影響力特征加權實現,并在數據分析的基礎上改進了HITS算法的實現方式,降低了傳統HITS模型用于迭代的運算時間。社交網絡中更強調人與人的交互關系,本文用戶權威性分析,為進一步研究社交網絡中的信息推薦與傳播機制提供了理論基礎。 3.研究了社交網絡中的用戶個性化推薦算法。針對傳統推薦算法不足以描述社交網絡中的用戶偏好性問題,提出了基于統計特征的微博推薦算法。該算法由用戶微博內容偏好性、微博作者影響力水平與用戶交互關系三大特征加權構成,算法邏輯簡單,計算性能較高,適用于在線微博平臺的應用級研究。為進一步提高模型的推薦精度,論文借助基于二元網絡的NBI推薦模型,對NBI模型初始矩陣與計算中連接權重進行了優化,并將具有社交網絡特色的用戶特征對于微博的偏好性影響加入到模型中,實現了微博的個性化推薦。試驗結果表明,該算法相比NBI模型或單一偏好特征推薦模型,具有更好的個性化推薦效果。 4.提出了基于機器學習的信息預測方法。結合微博社交網絡的真實數據,分析了影響用戶連接關系以及微博傳播的主要特征因素,建立了基于SVM的用戶連接關系預測模型與基于邏輯回歸的用戶微博轉發模型。為提高算法的預測性能與big-data模式下模型的實現方式,初步探討了相關機器學習模型的并行化參數訓練方法,提出了SVM模型的松弛變量權重優化算法,提升了模型的預測精度。最后,以用戶微博轉發模型計算結果作為個體決策先驗概率,利用蒙特卡羅仿真方法模擬了微博在社交網絡中的傳播過程。該方法通過微觀個體決策模型,結合全局仿真,不但能夠預測信息的宏觀傳播趨勢,還可以發現傳播路徑中可能存在的關鍵用戶節點,為信息的傳播預測研究提供了參考和借鑒。
【學位授予單位】：北京交通大學
【學位級別】：博士
【學位授予年份】：2014
【分類號】：TP393.09

【參考文獻】

相關期刊論文 前10條

1 張彥超;劉云;李勇;沈波;;基于自動生成模板的Web信息抽取技術[J];北京交通大學學報;2009年05期

2 尹增謙,管景峰,張曉宏,曹春梅;蒙特卡羅方法及應用[J];物理與工程;2002年03期

3 涂育松,李曉,鄧敏藝,孔令江,劉慕仁;一維Sznajd輿論模型相變的研究[J];廣西師范大學學報(自然科學版);2005年03期

4 田興玲;劉慕仁;孔令江;;一維Sznajd輿論模型中噪聲因素對演化的影響[J];廣西師范大學學報(自然科學版);2006年01期

5 林鴻飛;基于示例的文本標題分類機制[J];計算機研究與發展;2001年09期

6 張蓉;數據聚類技術的研究[J];計算機工程與應用;2002年16期

7 羅可,林睦綱,郗東妹;數據挖掘中分類算法綜述[J];計算機工程;2005年01期

8 楊建武,陳曉鷗;基于倒排索引的文本相似搜索[J];計算機工程;2005年05期

9 徐翔;王煦法;;協同過濾算法中的相似度優化方法[J];計算機工程;2010年06期

10 夏小伍;王衛平;;基于信任模型的協同過濾推薦算法[J];計算機工程;2011年21期

，

本文編號：2569559