Ερευνητική δημοσίευση ISM2022 2022
Explaining video summarization based on the focus of attention
Δείχνει ποια τμήματα ενός βίντεο επηρεάζουν την περίληψή του μέσω σημάτων από τον μηχανισμό προσοχής.
IEEE Int. Symposium on Multimedia (ISM) 2022 Δεκέμβριος 2022
Ευλάμπιος Αποστολίδης*, Γεώργιος Μπαλαούρας*, Βασίλειος Μεζάρης, Ιωάννης Πάτρας
* Ίση συνεισφορά
Περίληψη
Σε αυτό το άρθρο προτείνουμε μια μέθοδο για την επεξήγηση της περίληψης ενός βίντεο. Ξεκινάμε διατυπώντας το πρόβλημα ως τη δημιουργία μιας μάσκας επεξήγησης που υποδεικνύει τα μέρη του βίντεο που επηρέασαν περισσότερο τις εκτιμήσεις ενός δικτύου περίληψης βίντεο, σχετικά με τη σημασία των καρέ του. Στη συνέχεια, εξηγούμε πώς μπορεί να χρησιμοποιηθεί ο τυπικός αγωγός ανάλυσης δικτύων περίληψης βίντεο που βασίζονται στην αυτοπροσοχή για τον καθορισμό σημάτων επεξήγησης, και εξετάζουμε διάφορα σήματα που βασίζονται στην προσοχή που έχουν μελετηθεί ως επεξηγήσεις στον τομέα του NLP. Αξιολογούμε την απόδοση αυτών των σημάτων διερευνώντας τη σχέση εισόδου-εξόδου του δικτύου περίληψης βίντεο σύμφωνα με διαφορετικές συναρτήσεις αντικατάστασης, και χρησιμοποιώντας μετρικές που ποσοτικοποιούν την ικανότητα των επεξηγήσεων να εντοπίσουν τα μέρη ενός βίντεο με τη μεγαλύτερη και τη μικρότερη επιρροή. Πραγματοποιούμε πειράματα με το δίκτυο CA-SUM και τα σύνολα δεδομένων SumMe και TVSum. Η αξιολόγηση δείχνει την καλή απόδοση των επεξηγήσεων που σχηματίζονται από τα ίδια τα βάρη προσοχής του δικτύου και δείχνει ότι η μέθοδος μπορεί να ερμηνεύσει τα αποτελέσματα της περίληψης μέσω της εστίασης του μηχανισμού προσοχής.
Η εργασία με λίγα λόγια
- Πρόβλημα: Μια περίληψη αναδεικνύει σημαντικά καρέ, αλλά δεν δείχνει ποια τμήματα του βίντεο επηρέασαν αυτές τις εκτιμήσεις.
- Προσέγγιση: Δημιουργούμε μια μάσκα επεξήγησης από τα σήματα προσοχής του δικτύου και την αξιολογούμε αντικαθιστώντας τμήματα του βίντεο.
- Εύρημα: Στα σύνολα SumMe και TVSum, οι επεξηγήσεις που βασίζονται στα βάρη προσοχής του δικτύου εντόπισαν αποτελεσματικά τα τμήματα με τη μεγαλύτερη επιρροή.