為提高紅外圖像目標檢測的精度和實時性,提出一種基于偽模態轉換的紅外目標融合檢測算法.首先,利用雙循環的生成對抗網絡無需訓練圖像場景匹配的優勢,獲取紅外圖像所對應的偽可見光圖像;然后,構建殘差網絡對雙模態圖像進行特征提取,并采取add疊加方式對特征向量進行融合,利用可見光圖像豐富的語義信息來彌補紅外圖像目標信息的缺失,從而提高檢測精度;最后,考慮到目標檢測效率問題,采用YOLOv3單階段檢測網絡對雙模態目標進行三個尺度的預測,并利用邏輯回歸模型對目標進行分類.實驗結果表明,該算法能夠有效地提高目標檢測準確率. 

【文章來源】：光子學報. 2020年08期 第176-188頁 北大核心

【文章頁數】：13 頁

【部分圖文】：

提出算法的結構示意圖

CycleGAN是近年提出的一種無需匹配樣本的圖像到圖像轉換框架，旨在通過降低對抗性損失獲得映射函數F:Y→X和G:X→Y，其中X和Y分別是源域（紅外圖像）和目標域（可見光圖像）.如圖2，函數將圖像映射到兩個獨立的潛在空間，由兩個生成器Gx→y,Fy→x和兩個鑒別器Dx,Dy構成.生成器Gx→y嘗試生成與域Y相似的圖像y?i，而Dy用于區分轉換的樣本y?i和真實樣本yi.為了減少可能的映射函數的空間，確保源域圖像xi在被轉換成目標域（y?i）并重新變換回到源域（x?i）時x?i和xi將屬于相同的分布，實施周期一致性約束.圖2(a）表示該模型包含兩個映射函數G:X→Y和F:Y→X，以及相關的對抗鑒別器Dx和Dy.Dy支持G將X轉換為與域Y不可區分的輸出；同理，Dx支持F將Y轉換為與域X不可區分的輸出.為了進一步正則化映射關系，引入循環一致性損失必須符合以下原則：如果從一個域轉換到另一個域，然后再返回，應該到達源域.相應地，圖2(b）表示前循環一致性損失，圖2(c）則表示后循環一致性損失：

期望的底層映射用H(x)表示，用來疊加的非線性層為F(x)=H(x)-x，則原始映射重新轉換為F(x)+x，那么優化殘差映射要比優化原始的未參考映射更容易.F(x)+x可通過前饋神經網絡Shortcut Connections實現，Shortcut Connections可跨過一個或多個層的連接.重新將殘差單元定義為圖4 改進的雙模態特征提取殘差網絡

【參考文獻】：
期刊論文
[1]基于多特征融合與ROI預測的紅外目標跟蹤算法[J]. 劉輝,何勇,何博俠,劉志,顧士晨.  光子學報. 2019(07)
[2]復雜地面背景下的紅外目標檢測算法[J]. 寧強,秦鵬杰,石欣,李文昌,廖亮,朱家慶.  光子學報. 2019(04)



本文編號：2908542