İHA Görüntülerinde Çok Modlu Nesne Algılama, Referans Nesne Tespiti ve GPS Kesintisinde Monoküler Konum Kestirimi / Multimodal Object Detection, Reference Object Localization, and Monocular Position Estimation under GPS-Denied Conditions in UAV Imagery

Counts differ because each database indexes a different set of publications. We treat OpenAlex as the canonical count; Google Scholar is not shown (no API, and crawling it violates its ToS).

Türkçe Bu çalışma, İHA görüntülerinde RGB ve termal nesne tespiti, araç hareket durumu, iniş alanı uygunluğu, referans nesne yerelleştirme ve GPS kesintisinde monoküler konum kestirimini bütünleşik bir sistem içerisinde ele almaktadır. RGB ve termal görüntüler üzerinde YOLO11L ve YOLO26L modelleri karşılaştırılmış ve son uygulamada YOLO26L ağırlıkları kullanılmıştır. Veri hazırlama süreci; farklı veri kaynaklarının ortak YOLO sınıf uzayına dönüştürülmesini, hatalı sınıf kimliklerinin düzeltilmesini ve iniş alanlarına yönelik sentetik veri zenginleştirme işlemlerini kapsamaktadır. Referans nesne tespiti, DINOv2 yama eşleştirmesi, yerel yeniden doğrulama ve USAC_MAGSAC tabanlı geometrik doğrulama yaklaşımına dayanmaktadır. GPS kesintisi durumunda konum kestirimi için ORB-SLAM3 tarafından oluşturulan monoküler yörünge, ilk 450 sağlıklı kareden öğrenilen sağlam Sim(3) dönüşümü ile metrik koordinat sistemine taşınmaktadır. Ayrılmış test kümelerinde YOLO26L için mAP@0.5:0.95 değeri RGB görüntülerde 0.7812, termal görüntülerde 0.8057 olarak elde edilmiştir. GPS kesintisi deneylerinde üç boyutlu RMSE, kullanılan veri dizisine bağlı olarak 4.37–13.54 m aralığında ölçülmüştür. Çalışma, TEKNOFEST Havacılıkta Yapay Zeka Yarışması kapsamında geliştirilen sistemin veri hazırlama, nesne algılama, referans nesne eşleştirme ve görsel konum kestirimi bileşenlerini sunmaktadır. English This study presents an integrated system for RGB and thermal object detection, vehicle motion-state estimation, landing-area availability assessment, reference-object localization, and monocular position estimation under GPS-denied conditions using UAV imagery. YOLO11L and YOLO26L models were evaluated on RGB and thermal images, and YOLO26L weights were used in the final implementation. The data preparation pipeline includes mapping heterogeneous datasets into a common YOLO class space, correcting invalid class identifiers, and applying synthetic data augmentation for landing-area targets. Reference-object detection is based on DINOv2 patch matching, local re-verification, and USAC_MAGSAC-based robust geometric verification. For position estimation during GPS outages, the monocular trajectory generated by ORB-SLAM3 is transformed into metric competition coordinates using a robust Sim(3) transformation learned from the first 450 healthy frames. On the separated test sets, YOLO26L achieved an mAP@0.5:0.95 of 0.7812 for RGB imagery and 0.8057 for thermal imagery. During the GPS-denied experiments, the three-dimensional RMSE ranged from 4.37 m to 13.54 m depending on the evaluated sequence. The study presents the data preparation, object detection, reference-object matching, and vision-based localization components of the system developed within the scope of the TEKNOFEST Aviation Artificial Intelligence Competition.