通過(guò)利用已有數(shù)據(jù)的方式,遷移學(xué)習(xí)的方法能夠在一定程度上減少深度學(xué)習(xí)算法對(duì)目標(biāo)域數(shù)據(jù)的搜集標(biāo)注工作。域適應(yīng)方法是眾多遷移學(xué)習(xí)方法的一種,其假設(shè)源域和目標(biāo)域的數(shù)據(jù)特征空間、類別空間一致,僅在特征分布上存在差異。當(dāng)前域適應(yīng)目標(biāo)檢測(cè)方法可分為對(duì)抗特征學(xué)習(xí)、圖像翻譯、領(lǐng)域隨機(jī)化和偽標(biāo)簽自訓(xùn)練等類型(Oza 等, 2021)。
下面分別介紹這些方法的基本原理和研究現(xiàn)狀。
(1)基于對(duì)抗特征學(xué)習(xí)的遷移學(xué)習(xí)目標(biāo)檢測(cè)方法
在眾多類型的域適應(yīng)目標(biāo)檢測(cè)方法中,當(dāng)前最為流行的是對(duì)抗特征學(xué)習(xí)方法,其優(yōu)勢(shì)在于泛化性能最好。對(duì)抗特征學(xué)習(xí)通過(guò)在目標(biāo)檢測(cè)器中插入領(lǐng)域判別器的方式強(qiáng)迫檢測(cè)器學(xué)習(xí)跨域的公共特征,具體來(lái)說(shuō),使用梯度反轉(zhuǎn)層(Gradient Reversal Layer,GRL)(Ganin 等, 2017)使得領(lǐng)域鑒別器盡可能地區(qū)分樣本來(lái)自哪個(gè)領(lǐng)域,而檢測(cè)器則盡可能混淆兩域的特征。(Chen 等, 2018)將對(duì)抗特征域適應(yīng)方法首先引入到目標(biāo)檢測(cè)任務(wù)中,在圖像特征層面和實(shí)例特征層面分別插入域鑒別器;隨后,(Saito 等, 2019)提出在局部特征上加入域鑒別器,并在全局特征的域鑒別器中參考 Focal Loss(Lin 等, 2018)思想對(duì)不同區(qū)分難度的樣本賦予不同權(quán)重,以避免強(qiáng)制對(duì)齊深層語(yǔ)義特征造成負(fù)遷移現(xiàn)象;(Chen 等, 2020)探討了對(duì)抗特征對(duì)齊中的特征可區(qū)分性和可遷移性的矛盾,利用香農(nóng)熵計(jì)算出空間權(quán)重對(duì)局部和全局的特征進(jìn)行加權(quán);(Xu 等, 2020) 在對(duì)齊兩域的特征分布時(shí)重點(diǎn)關(guān)注前景區(qū)域,使用區(qū)域建議網(wǎng)絡(luò)計(jì)算出各個(gè)區(qū)域的注意力作為對(duì)抗損失的空間權(quán)重。由于對(duì)抗學(xué)習(xí)的不穩(wěn)定性,對(duì)抗特征對(duì)齊需要利用正則化來(lái)穩(wěn)定訓(xùn)練過(guò)程。
(2)基于圖像翻譯的遷移學(xué)習(xí)目標(biāo)檢測(cè)方法
基于圖像翻譯的方法嘗試將源域圖像通過(guò)無(wú)監(jiān)督的方式翻譯為具有目標(biāo)域圖像風(fēng)格的樣本,這種方法在像素層面縮小了兩域的分布差異。(Arruda 等, 2019)將白天的圖像無(wú)監(jiān)督地翻譯到夜晚圖像,并將對(duì)應(yīng)目標(biāo)的邊界框標(biāo)簽賦予翻譯后的圖像再訓(xùn)練目標(biāo)檢測(cè)模型,實(shí)現(xiàn)了夜間車輛檢測(cè)。(Guo 等, 2019)將包含行人的可見(jiàn)光圖像翻譯到近紅外圖像,綜合使用可見(jiàn)光翻譯前后的圖像訓(xùn)練檢測(cè)模型,緩解了近紅外域標(biāo)簽缺乏的問(wèn)題。圖像翻譯的方法可解釋性強(qiáng),但是域適應(yīng)目標(biāo)檢測(cè)模型性能依賴于圖像翻譯模塊的效果,由于這不是端到端的過(guò)程,在期望優(yōu)化目標(biāo)檢測(cè)效果時(shí)缺少調(diào)節(jié)圖像翻譯模塊的有效指導(dǎo)。
(3)基于域隨機(jī)化的遷移學(xué)習(xí)目標(biāo)檢測(cè)方法
域隨機(jī)化的方法旨在強(qiáng)迫模型不依賴于源域的風(fēng)格偏差,通過(guò)隨機(jī)地生成多種風(fēng)格的源域圖像使得模型不依賴于任何一種風(fēng)格,因此在目標(biāo)域也能很好地泛化。由于域隨機(jī)化的方法在訓(xùn)練過(guò)程中需要產(chǎn)生大量的隨機(jī)風(fēng)格數(shù)據(jù)不便于實(shí)際使用,域隨機(jī)化往往與其他遷移學(xué)習(xí)方法結(jié)合使用。如(Kim T 等, 2019)利用生成對(duì)抗網(wǎng)絡(luò)了在源域和目標(biāo)域之間生成了大量的中間域圖像,并將二分類的域別器拓展為多類別。類似地,(Rodriguez, 2019)利用(Huang & Belongie, 2017)提出的自適應(yīng)實(shí)例歸一化(Adaptive Instance Normalization,AdaIN)實(shí)現(xiàn)源域到目標(biāo)域的隨機(jī)風(fēng)格化,并結(jié)合偽標(biāo)簽自訓(xùn)練應(yīng)用于 SSD 的跨域目標(biāo)檢測(cè)。
(4)基于偽標(biāo)簽自訓(xùn)練的遷移學(xué)習(xí)目標(biāo)檢測(cè)方法
偽標(biāo)簽自訓(xùn)練的基本思想是先利用有標(biāo)簽的源域數(shù)據(jù)訓(xùn)練出初始目標(biāo)檢測(cè)模型,然后利用該模型對(duì)無(wú)標(biāo)簽的目標(biāo)域數(shù)據(jù)進(jìn)行預(yù)測(cè),由于兩域的分布不同,因此預(yù)測(cè)的標(biāo)簽往往具有很大的噪聲,所以需要篩選置信度高的目標(biāo)域數(shù)據(jù)加入訓(xùn)練集中,再繼續(xù)訓(xùn)練模型,直到模型符合要求(RoyChowdhury 等, 2019)。該方法簡(jiǎn)潔有效,其中最為關(guān)鍵的步驟在于設(shè)計(jì)篩選高置信度標(biāo)簽的規(guī)則。
(5)遙感影像的遷移學(xué)習(xí)目標(biāo)檢測(cè)方法
與自然影像目標(biāo)檢測(cè)相比,遙感影像目標(biāo)檢測(cè)具有目標(biāo)尺度差異大、小目標(biāo)分布密集、光譜特征復(fù)雜、前景與背景相似性較高等特點(diǎn)。當(dāng)前針對(duì)遙感影像的域適應(yīng)目標(biāo)檢測(cè)相關(guān)研究還較少。(Koga 等, 2020)在跨域車輛檢測(cè)中使用協(xié)方差對(duì)齊和對(duì)抗特征對(duì)齊取得了較好的效果。(Chen 等, 2021)在圖像級(jí)特征和實(shí)例級(jí)特征層面使用對(duì)抗特征對(duì)齊證實(shí)了在正常光照遙感圖像到低光照遙感圖像域適應(yīng)目標(biāo)檢測(cè)上的有效性。然而(Li X 等, 2020)評(píng)估了利用(Zhu 等, 2017)提出的循環(huán)一致對(duì)抗生成網(wǎng)絡(luò)(Cycle-Consistent Adversarial Networks,CycleGAN)進(jìn)行圖像翻譯在變化檢測(cè)和目標(biāo)檢測(cè)中的效果時(shí),發(fā)現(xiàn)基于對(duì)抗生成網(wǎng)絡(luò)的圖像翻譯方法未能提高航空影像到衛(wèi)星影像建筑物檢測(cè)的效果。