- 실 환경에서의 객체 탐지는 RGB, Thermal과 같은 단일 모달리티 입력에만 의존할 때 문제 발생
- 단일 네트워크 파라미터 세트만 사용해 RGB, 열화상, RGBT 통합 탐지를 가능하게 하는 객체 탐지 프레임워크
-
기존 메서드는 RGB 및 Thermal 이미지 같은 단일 모달리티에 의존
-
RGB는 (b)처럼 연기에 가려진 객체를 인식하기 어려움
-
Thermal은 (e)처럼 온도 분포가 유사한 객체들을 구분하기 어려움
-
RGBT는 Fusion 연산을 활용해 한쪽 Modality의 식별력이 떨어질 때 다른 쪽의 명확한 특성을 이용함 → 더 높은 탐지 정확도 달성
-
정렬된 RGB 및 Thermal 입력에 의존하여 유연성 및 실용성이 떨어짐 → 단일 모달리티의 유연성 vs RGBT의 성능
-
단일 모달리티 이미지에 객체 식별을 위한 유용한 정보가 포함되어 있다고 가정 → 네트워크는 이런 정보보다 두드러진 Feature에 집중
-
단일 모달리티를 RGBT 데이터를 이용해 열화상 탐지기 성능 향상
- Thermal 모달리티에만 국한되며, RGB 및 RGBT에 적용될 경우 성능 저하
중요한 것은 도전적인 환경에서 특성 추출을 위해 미세 단서들을 활용해야함
- IFE와 NFE 사이에 대조학습을 적용 → 본질적 특성과 비식별적 특성의 분리 유도
- 표상력이 약하고, 어려운 타깃에 대해 반응성이 높은 특성 생성
Single-Modality Object Detection
- 기존 단일 Modality 객체 탐지기는 2-Stage or 1-Stage
- 2-Stage는 정확도는 높지만 연산 효율성이 떨어짐 (R-CNN)
- 1-Stage는 빠른 추론 속도를 제공, 다만 정확성이 낮아짐 (YOLO)
- 트랜스포머 기반 모델은 RGB에 초점을 맞춰 설계가 됐기에 열악한 환경 조건에서는 탐지가 힘듦
- Thermal 이미지는 세부 정보가 부족하여 유사한 온도 / 온도 대비가 낮은 객체를 구별하기 어려움
RGBT Fusion Object Detection
-
이미지 수준 Fusion
- 픽셀 수준에서 RGB와 Thermal 결합
- 최적화 및 연산 오버헤드 문제
-
특징 수준 Fusion
- Self-Attention 및 Cross-Atttention 메커니즘 활용
Single-Modality Inference with Multi-Modal Training
- 학습 단계에서 RGBT 데이터를 활용하는 방식이 주목받음
- 특성 학습 증강을 위한 열화상-가시광선 번역
- 적외선 입력으로부터 RGB 특성을 환각 생성
- EMA 기반 Dual-Domain Teacher
- RGBT 지식을 Thermal 전용 학생 모델로 전달
-
Backbone에서 추출되는 특징을 2가지로 분해 가능
-
Modality 불변 내재적 특성 :
$Φ_I^m$ - 본질적인 물리적 특성 반영
- 객체 탐지 작업에 유용한 의미론적 정보 포함한다고 가정
- 내재적 특징과 목표 레이블 사이 상호 정보량이 최대화
$I(Φ_I^m;Y_{task})→max$
-
비판별적 Modality :
$Φ_N^m$ - Modality 특성이나 환경으로 생기지만 도움 되지 않는 정보
- NFE가 뽑아낸 특징만 보고는 객체 종류를 맞추면 안됨
$I(Φ_N^m;Y_{task})≈0$
-
고차원 특징 표현과 목표 레이블 사이 상호정보량을 직접 계산 하는 것은 힘듦
RGB 이미지와 Thermal 이미지 중 어느 하나가 입력되더라도 내재적 특징을 추출하고 이를 객체 탐지에 활용할 수 있는 통합 검출기 구축
- Detector를 BFE → IFE → IFD로 분류
- 학습할 때만 NFE 추가
- BFE의 가중치를 공유 → 하나의 Detector로 RGB 및 Thermal 처리
- Thermal의 경우 1채널이지만 RGB의 구조를 맞추기 위해 3번 복제
- Head는 Decoupled Head
Detection Loss
- Classification은 Cross-Entropy Loss
- Regression은 L1 Loss
Feature Separation Loss
- RGB Intrinsic ↔ Thermal Intrinsic (가깝게)
- Intrinsic ↔ Non-Discriminative (멀게)
- RGB Non-Discriminative ↔ Thermal Non-Discriminative (멀게)