我校電子與通信工程學(xué)院教師宿勇博士課題組撰寫的論文“Semantic-driven dual consistency learning for weakly supervised video anomaly detection”于2025年在期刊Pattern Recognition發(fā)表。
視頻異常檢測(cè)是智能監(jiān)控領(lǐng)域的重要課題，隨著視頻監(jiān)控技術(shù)的廣泛應(yīng)用，異常行為的自動(dòng)識(shí)別需求日益迫切。盡管現(xiàn)有方法在異常檢測(cè)方面取得一定進(jìn)展，但由于缺乏精細(xì)標(biāo)注，弱監(jiān)督方法在目標(biāo)域中常面臨特征漂移問題（圖1），導(dǎo)致檢測(cè)性能受限。
圖1.特征漂移問題。
研究團(tuán)隊(duì)提出了一種新穎的跨模態(tài)檢測(cè)與一致性學(xué)習(xí)范式（圖2），引入場(chǎng)景相關(guān)知識(shí)以刻畫異常與正常行為的清晰邊界。研究采用跨模態(tài)檢測(cè)網(wǎng)絡(luò)和跨域?qū)R模塊，通過學(xué)習(xí)異常目標(biāo)的語義一致性和正常目標(biāo)與視頻片段嵌入的上下文一致性，有效糾正特征漂移問題。研究進(jìn)一步驗(yàn)證了跨模態(tài)檢測(cè)在提升異常檢測(cè)性能和可解釋性方面的潛力，為智能監(jiān)控系統(tǒng)的實(shí)際部署提供了理論和實(shí)踐支持。
圖2.跨模態(tài)檢測(cè)與一致性學(xué)習(xí)范式。
電子與通信工程學(xué)院教師宿勇博士為該論文的第一作者，碩士研究生譚鈺鈺為第二作者，天津師范大學(xué)為第一單位。
論文鏈接：https://www.sciencedirect.com/science/article/abs/pii/S0031320324006496
科研進(jìn)展