受人類活動和自然環境演變影響,地球表面無時無刻經歷著變化。遙感對地觀測所具備的覆蓋面積廣、周期性強等優勢有利于實現地表動態變化檢測。深度學習強大的特征表達能力、模型架構和性能優勢使其可以很好地感知遙感影像中的變化,顯著提升變化檢測精度。但由于高質量樣本的人工標注工作量繁重,同時變化區域本身極度稀疏也限制了可標注變化樣本的數量,現階段基于深度學習的遙感變化檢測精度受到變化/不變樣本以及困難/容易樣本兩類樣本不平衡問題的影響較嚴重。
針對上述科學問題,我?!碍h境遙感團隊”碩士研究生徐宇岐,在導師吳伶副教授指導下,耦合殘差神經網絡(RESNET)和能夠融合多尺度特征信息的特征金字塔網絡(FPN)搭建漸進式尺度擴展網絡(PSENet)作為變化檢測框架,并提出了一種解決兩類樣本不平衡問題的動態自適應聚焦損失函數(DAFL)(圖1)。研究取得的成果如下:
1、在面向緩解兩類樣本不平衡問題設計的聚焦損失函數Focal Loss中引入動態加權因子DAFL(α)解決變化/未變化樣本的不平衡問題(圖2)。根據不同批次中變化/未變化樣本的分布動態自適應調整變化樣本權重,允許變化檢測模型聚焦較少數量的變化樣本,增強模型識別變化信息的能力;
2、在Focal Loss中引入動態調制因子DAFL(γ)抑制難/易樣本失衡的影響(圖2)。通過依賴量化樣本分類難度的樣本標簽預測概率期望值在訓練進程中的變化動態自適應調整困難樣本權重,使模型自適應挖掘困難樣本,進一步解決難/易樣本不平衡問題對變化檢測結果的影響;
3、基于三個樣本不平衡的高空間分辨率遙感變化檢測數據集,設計不同樣本量(從小樣本到全數據集樣本)訓練數據集,評價基于動態自適應聚焦損失函數DAFL的PSENet變化檢測精度。相比在3個數據集中所有基準損失函數的最優精度:DAFL在樣本量充足(2000-全樣本量)情況下,F1得分分別提升0.33%、0.8%和0.94%(圖3);DAFL在小樣本(≤1000)情況下,F1得分分別提升2.15%、2.61% 和3.89%(圖4、圖5)。
本研究成果有望降低深度學習在變化檢測任務中對樣本數量和質量的高要求,在減輕人工標注樣本繁重工作量同時,進一步提升樣本不平衡條件下的變化檢測精度,以滿足當前高效快速、自動化變化檢測的應用需求。
圖1 基于動態自適應聚焦損失函數(DAFL)的漸進式尺度擴展網絡變化檢測框架
圖2 DAFL在不同數據集上變化檢測可視化結果。(a)前一時相影像; (b)后一時相影像; (c)真實標簽; (d)基于FOCAL LOSS的PSENet; (e)基于DAFL (α)的PSENet; (f) 基于DAFL (γ)的PSENet; (g)基于DAFL的PSENet。紅色框中標出了漏分情況,黃色框中標出了錯分情況。前兩行、中間兩行和后兩行分別是CDD,SYSU-CD和LECIR-CD數據集示例結果。
圖3 不同損失函數在SYSU-CD數據集(樣本充足情況)上的可視化結果。 (a)前一時相影像; (b)后一時相影像; (c)真實標簽; (d)基于BCE的PSENet; (e)基于WBCE的PSENet; (f)基于Focal Loss的PSENet; (g)基于IoU的PSENet; (h)基于DAFL的PSENet。紅色框中標出了漏分情況,黃色框中標出了錯分情況。
圖4 SYSU-CD數據集(小樣本情況)上DAFL與表現最優損失函數精度之間的差異
圖5 不同損失函數在SYSU-CD數據集(小樣本情況)上的可視化結果。 (a)前一時相影像; (b)后一時相影像; (c)真實標簽; (d)基于BCE的PSENet; (e)基于WBCE 的PSENet; (f)基于Focal Loss的PSENet; (g)基于IoU的PSENet; (h)基于DAFL的PSENet。紅色框中標出了漏分情況,黃色框中標出了錯分情況。
上述研究成果發表在遙感領域國際權威刊物《IEEE Transactions on Geoscience and Remote Sensing》上:Xu Y, Wu L*, Liu X, Chen C, Li Y, Zhang Q, Liu M, Zhang T, Yang B. Remote Sensing Change Detection Method Based on Dynamic Adaptive Focal Loss. IEEE Transactions on Geoscience and Remote Sensing, 2024, 62. [IF 2022=8.2]
全文鏈接:https://doi.org/10.1109/TGRS.2024.3392696