Georgios Balaouras
 Επιστροφή στις δημοσιεύσεις

Ερευνητική δημοσίευση ICMR2022 2022

Summarizing Videos using Concentrated Attention and Considering the Uniqueness and Diversity of the Video Frames

Συνδυάζει συγκεντρωμένη προσοχή και τη μοναδικότητα των καρέ για περίληψη βίντεο χωρίς επίβλεψη.

ACM Int. Conference on Multimedia Retrieval 2022 Ιούνιος 2022

Ευλάμπιος Αποστολίδης*, Γεώργιος Μπαλαούρας*, Βασίλειος Μεζάρης, Ιωάννης Πάτρας

* Ίση συνεισφορά

PDF (ανοίγει σε νέα καρτέλα) DOI (ανοίγει σε νέα καρτέλα) Κώδικας (ανοίγει σε νέα καρτέλα) Βίντεο (ανοίγει σε νέα καρτέλα) Διαφάνειες (ανοίγει σε νέα καρτέλα)

Περίληψη

Σε αυτήν την εργασία, περιγράφουμε μια καινούργια μέθοδο για τη δημιουργία περιλήψεων βίντεο χωρίς επίβλεψη. Για να ξεπεραστούν οι περιορισμοί των υφιστάμενων προσεγγίσεων δημιουργίας περιλήψεων χωρίς επίβλεψη, σχετικά με την ασταθή εκπαίδευση των Generator-Discriminator αρχιτεκτονικών, τη χρήση RNNs για τη μοντελοποίηση εξαρτήσεων μεγάλης εμβέλειας των καρέ και την ικανότητα παραλληλοποίησης της εκπαίδευσης αρχιτεκτονικών που βασίζονται σε RNNs, η μέθοδος μας βασίζεται αποκλειστικά στη χρήση ενός μηχανισμού αυτοπροσοχής για την εκτίμηση της σπουδαιότητας των καρέ του βίντεο. Αντί να βασίζεται μόνο σε καθολική προσοχή, η μέθοδος χρησιμοποιεί συγκεντρωμένη προσοχή σε μη επικαλυπτόμενα τμήματα της κύριας διαγωνίου του πίνακα προσοχής και αξιοποιεί πληροφορίες για τη μοναδικότητα και την ποικιλομορφία των καρέ. Έτσι εκτιμά καλύτερα τη σημασία των διαφορετικών τμημάτων του βίντεο και μειώνει σημαντικά τον αριθμό των παραμέτρων προς εκμάθηση. Πειράματα στα SumMe και TVSum δείχνουν ανταγωνιστική απόδοση σε σχέση με άλλες μεθόδους χωρίς επίβλεψη και περιλήψεις κοντά στις ανθρώπινες προτιμήσεις. Μια μελέτη αφαίρεσης εξετάζει τη συμβολή της συγκεντρωμένης προσοχής και των εκτιμήσεων μοναδικότητας και ποικιλομορφίας στην τελική απόδοση.

Αρχιτεκτονική CA-SUM: ένα CNN και μηχανισμός συγκεντρωμένης προσοχής εκτιμούν τη σημασία των καρέ.
Σχήμα από τη δημοσίευση: Αρχιτεκτονική του μοντέλου περίληψης με συγκεντρωμένη προσοχή. Άνοιγμα σχήματος σε πλήρες μέγεθος ↗

Η εργασία με λίγα λόγια

  • Πρόβλημα: Συνήθεις μέθοδοι χωρίς επίβλεψη βασίζονται σε ασταθή ανταγωνιστική εκπαίδευση ή σε επαναληπτικά δίκτυα που περιορίζουν την παράλληλη εκπαίδευση.
  • Προσέγγιση: Το CA-SUM συνδυάζει συγκεντρωμένη προσοχή με πληροφορίες για τη μοναδικότητα και την ποικιλομορφία των καρέ.
  • Εύρημα: Οι δοκιμές στα SumMe και TVSum έδειξαν ανταγωνιστικές περιλήψεις με λιγότερες παραμέτρους προς εκμάθηση.