【摘要】：隨著大數據時代的到來,數據量與日俱增,推薦系統也迎來了發展和挑戰。比如,推薦系統暴露出重合點數比例高、冷啟動、數據稀疏性等問題。本文根據協同過濾推薦算法的特點,研究協同過濾算法中的各種推薦技術。針對上述問題提出了不同的解決方案,即相似度計算公式的優化。首先,為解決重合點數比例過高的問題,對協同過濾推薦算法的相似度計算公式提出兩點優化。經過優化得到兩個相似度計算公式:Euclidean-CPARW和Concurrence-RW。在MovieLens100K數據集上進行測試,使用均方根誤差作為評價指標,公式Euclidean-CPARW的推薦精度比其他四種相似度公式的計算結果提高1%左右;公式Concurrence-RW使用準確率作為評價標準,推薦結果的準確率比其他四種相似度公式提高3%左右。其次,為緩和冷啟動問題和數據稀疏性問題,提出一種優化的混合協同過濾算法。該算法結合了電影標簽信息,基于優化的混合相似度公式BAJ-DCMS,通過評分表中共同評分的數量,自適應的選取一種利于當前評分數的相似度公式。公式BAJ-DCMS在MovieLens數據集上證明了算法的效果,使用均方根誤差作為評價指標,計算出的推薦精度比其他兩種相似度公式提高2%左右。最終,實現一個基于Spark大數據處理平臺的個性化電影推薦系統。包括Spark大數據處理和Scrapy網絡爬蟲,推薦引擎采用前文敘述的優化的混合相似度公式BAJ-DCMS。系統框架使用SSM框架,數據存儲使用數據庫MySQL和分布式存儲系統HDFS,通過Web瀏覽器與用戶進行人機交互,通過Web可以看到為用戶推薦的個性化電影列表以及每一部電影海報、主頁等信息。
【圖文】：

圖 1-1 各類推薦系統優缺點對比圖Netflix，IMDb，，MovieLens 等 Web 網站是一些流行的推薦系統，它們利用數據挖掘和數據分析的功能來分析與其用戶和電影相關的各種因素，并根據這些因素提出建議。伴隨著推薦系統的提出，推薦系統也如雨后春筍般發展，常見的幾種推薦系統優缺點對比如圖 1-1 所示。中國對于協同過濾算法的探索剛起步不久，目前尚沒有完全成熟且有體系的推薦系統。隨著計算機科學的發展以及推薦系統不斷被推廣，推薦系統的技術一定會取得更進一步的實質性的成果，他可以有效的應用在電商中，為用戶推薦出適合他們的產品。1.3 本文的系統需求分析1.3.1 推薦引擎的需求

電子科技大學碩士學位論文（3）瀏覽相似電影，瀏覽與觀看過電影相似的電影。（4）瀏覽電影想詳情，查看電影的詳情頁，如電影的介紹、演員情況、電影的其他鏈接等。（5）搜索電影，在搜索框輸入電影名字對數據庫中電影的搜索。可以按類別搜索、按熱度搜索、按時間搜索、按名稱搜索、按時間搜索。（6）瀏覽相關資訊，查看與當前電影相關的評價等。（7）瀏覽推薦電影，根據用戶平時的電影評分和興趣標簽對用戶推薦默認的10 部電影。（8）個人主頁，對個人主頁的信息進行更改。比如編輯個人資料、查看收藏電影、查看評價電影。（9）評價、收藏電影，對觀看或未觀看過的電影做出評價或評分以及收藏等操作。
【學位授予單位】：電子科技大學
【學位級別】：碩士
【學位授予年份】：2019
【分類號】：J943;TP391.3

【參考文獻】

相關期刊論文 前10條

1 師秦龍;陳偉;魏浩;;基于物品協同過濾推薦系統的研究[J];福建電腦;2015年07期

2 查九;李振博;徐桂瓊;;基于組合相似度的優化協同過濾算法[J];計算機應用與軟件;2014年12期

3 冷亞軍;陸青;梁昌勇;;協同過濾推薦技術綜述[J];模式識別與人工智能;2014年08期

4 榮輝桂;火生旭;胡春華;莫進俠;;基于用戶相似度的協同過濾推薦算法[J];通信學報;2014年02期

5 李芬;朱志祥;劉盛輝;;大數據發展現狀及面臨的問題[J];西安郵電大學學報;2013年05期

6 鄔賀銓;;大數據時代的機遇與挑戰[J];求是;2013年04期

7 孫冬婷;何濤;張福海;;推薦系統中的冷啟動問題研究綜述[J];計算機與現代化;2012年05期

8 朱郁筱;呂琳媛;;推薦系統評價指標綜述[J];電子科技大學學報;2012年02期

9 許棣華;王志堅;林巧民;黃衛東;;一種基于偏好的個性化標簽推薦系統[J];計算機應用研究;2011年07期

10 湯效琴;;數據挖掘中的軟計算方法及其應用[J];計算機系統應用;2008年03期

相關博士學位論文 前1條

1 練建勛;基于多樣化內容數據的個性化推薦系統[D];中國科學技術大學;2018年

相關碩士學位論文 前6條

1 李巧巧;面向負載均衡的Spark任務劃分與調度策略研究[D];湖南大學;2017年

2 武志強;基于SpringMVC和MyBatis框架的理財規劃系統的設計與實現[D];北京交通大學;2016年

3 朱明;基于Hadoop2.0的海量數據處理[D];遼寧科技大學;2015年

4 李文棟;基于Spark的大數據挖掘技術的研究與實現[D];山東大學;2015年

5 胡于響;基于Spark的推薦系統的設計與實現[D];浙江大學;2015年

6 宋瑞平;混合推薦算法的研究[D];蘭州大學;2014年

本文編號：2700777