Doktora Adayı: Mehmet Ali Arabacı
EABD: Bilişim Sistemleri
Tarih: 18.01.2023 / 14:00
Yer: A108

Özet: Sensör teknolojilerinin gelişmesiyle birlikte giyilebilir cihazların günlük hayattaki kullanımı hızla artmıştır. Giyilebilir cihazlardaki en yaygın bilgi birinci şahıs görüsü olarak adlandırılan ve optik sensörler ile elde edilmiş birinci şahıs perspektife sahip videolardır. Birinci şahıs videolar büyük miktarda birinci şahıs hareketi içermeleri ve sahnelerdeki hızlı değişimler nedeniyle üçüncü şahıs videolarından farklı özelliklere sahiptir. Kameranın olaylardan ve aktörlerden uzak olduğu üçüncü şahıs videolarına göre tasarlanmış görsel tabanlı yöntemler birinci şahıs videolarına doğrudan uygulanamamaktadır. Bu nedenle, birinci şahıs videolarını analiz edebilen ve tanımlanan görevler için çeşitli sensörlerden gelen verileri doğru şekilde birleştirebilen yeni yaklaşımlara ihtiyaç duyulmaktadır. Bu tezde, birinci şahıs hareket tanıma problemi için çok-kipli karar tümleştirme kullanan iki yeni çatı önerilmiştir. Bunlardan ilki, üretilen öznitelikleri Çoklu Kernel Öğrenmesi ile birleştirmektedir. Diğer çatı ise derin öznitelikleri iki aşamalı karar tümleştirme mekanizması ile kullanmıştır. Gerçekleştirilen deneyler, görsel, işitsel ve diğer giyilebilir sensör bilgilerinin birleştirilmesinin birinci şahıs hareket tanıma performansını arttırdığını ortaya çıkarmıştır. Ek olarak, önerilen çatılar ile farklı kiplerden çıkarılan çok sayıda öznitelik test edilmiştir. Son olarak, 30 farklı birinci şahıs hareketi ve 1392 video kayıt parçası içeren Egocentric Outdoor Activity Dataset (EOAD) isimli yeni bir birinci şahıs hareket veri seti oluşturulmuştur.