近年來,深度學習技術獲得了飛速的發展,并逐漸應用在計算自視覺、自然語言處理等諸多領域。卷積神經網絡作為深度學習的一個主要研究分支,在很多的分類、檢測和分割等任務上都取得了優于傳統方法的表現效果。然而,卷積神經網絡的成功是通過龐大的參數組合形成的,多種多樣的卷積核相堆疊保證其能提取出豐富多樣的有代表性的特征。這也就表明了卷積神經網絡的運行需要很好的硬件條件做支撐,這種硬件限制使得神經網絡只能停留在實驗室中,無法運行在存儲量和運算能力較低的移動設備上。實際上網絡存在大量的參數冗余,本文針對深度神經網絡的模型壓縮與優化加速展開研究,主要工作有:針對迭代剪枝容易產生累積誤差的問題,提出了一種基于敏感度的逐層剪枝算法。我們首先考慮單個卷積層對整體網絡性能的影響程度,定義了卷積層敏感度的概念,定量衡量每個卷積層的敏感度。基于此,不同剪枝率下的剪枝次序將會按照當前狀態下的低敏感度卷積層到高敏感度卷積層進行,并且跨層剪枝之間采用了貪心剪枝的方法。該算法能夠大大減少單層剪枝之后對網絡的損耗,并且后序迭代剪枝也能在一個較高水平的網絡性能上進行,避免了迭代剪枝誤差放大的問題。在LeNet-5和AlexNet...

【文章頁數】：86 頁

【學位級別】：碩士

【部分圖文】：

圖3-8CIFAR10數據集10個類別的樣本數據

電子科技大學碩士學位論文圖3-7MNIST數據集10個類別的樣本數據上圖所示為MNIST數據集中0-9共10類樣本中的數據展示，在MNIST數據集中每張圖片都是由28×28個像素點構成，且都為單通道的二值圖像，沒有太多干擾信息。在原始的壓縮文件中保存形式為728維向量，使用時我們....

本文編號：3999644