圖像描述任務是目前人工智能領域極具挑戰性的研究課題之一,它的主要任務是讓計算機能夠識別、理解出圖像中的內容并自動生成相應的文本描述句子。人類能夠理解并描述出一幅圖像中蘊含的信息,能夠讓計算機具備人類的這種能力有著重大的現實意義。在實際生活中也有著非常廣泛的應用,例如,智能人機交互、幼兒早教、信息檢索、視覺障礙者協助等。近年來,基于深度學習的圖像描述技術發展迅速,特別是神經網絡的運用,使得圖像描述模型的性能得到很大的改善。通過分析基于深度學習的圖像描述技術,同時借鑒神經機器翻譯任務取得的階段性成果,本文提出了一種區別于當前主流方法的圖像描述模型來解決復雜場景下的描述不準確問題,其主要工作內容包含以下幾點:(1)為了充分提取圖像中所包含的語義信息,針對視覺特征信息的在卷積層的傳播過程中的損失導致模型無法全面理解輸入圖像語義的情況,本文提出了一種融合多模型跨層特征的方法,融合低層特征和高層特征,并訓練出多個編碼器對特征進行提取,實現語義特征和細節特征之間的信息互補,從而學習到更形象具體的描述句子。(2)自然場景圖像中經常包含多個目標和復雜的背景信息,對應的描述語句通常也是結構復雜的長句子,當前...

【文章頁數】：52 頁

【學位級別】：碩士

【文章目錄】：
摘要
ABSTRACT
第一章 緒論
    1.1 研究背景及其意義
    1.2 國內外研究現狀
    1.3 論文研究內容和主要貢獻
        1.3.1 論文的主要研究內容
        1.3.2 論文的主要貢獻和創新點
    1.4 論文的組織結構
第二章 基于端到端的圖像描述基礎
    2.1 編碼-解碼框架
    2.2 基于CNN+RNN架構的圖像描述生成方法
        2.2.1 方法原理
        2.2.2 監督學習
    2.3 基于CNN+CNN架構的圖像描述生成方法
        2.3.1 方法原理
        2.3.2 監督學習
    2.4 圖像描述數據集及評價指標
        2.4.1 圖像描述數據集
        2.4.2 圖像描述評價指標
    2.5 本章小結
第三章 跨層多模型特征融合與因果卷積解碼的圖像描述
    3.1 引言
    3.2 CMFF/CD模型
        3.2.1 視覺模塊
        3.2.2 語言模塊
        3.2.3 Attention模塊
        3.2.4 語句預測生成模塊
        3.2.5 訓練與測試
    3.3 實驗及結果分析
        3.3.1 實驗平臺及參數設置
        3.3.2 實驗結果分析
    3.4 本章小結
第四章 融合多層注意力的CNN語言模型用于圖像描述
    4.1 引言
    4.2 注意力機制
        4.2.1 注意力機制的作用與原理
        4.2.2 多層級注意力模型
    4.3 融合多層注意力的CNN語言模型用于圖像描述
    4.4 實驗結果與分析
        4.4.1 實驗數據集
        4.4.2 定量、定性及可視化實驗結果分析
    4.5 本章小結
第五章 總結與展望
    5.1 本文工作總結
    5.2 研究展望
參考文獻
致謝
攻讀學位期間的研究成果



本文編號：4038238