Explaining video summarization based on the focus of attention

Σε αυτό το άρθρο προτείνουμε μια μέθοδο για την επεξήγηση της περίληψης ενός βίντεο.

Διατύπωση Προβλήματος

Ξεκινάμε διατυπώντας το πρόβλημα ως τη δημιουργία μιας μάσκας επεξήγησης που υποδεικνύει τα μέρη του βίντεο που επηρέασαν περισσότερο τις εκτιμήσεις ενός δικτύου περίληψης βίντεο, σχετικά με τη σημασία των καρέ του.

Μεθοδολογία

Εξηγούμε πώς μπορεί να χρησιμοποιηθεί ο τυπικός αγωγός ανάλυσης δικτύων περίληψης βίντεο που βασίζονται στην αυτοπροσοχή για τον καθορισμό σημάτων επεξήγησης, και εξετάζουμε διάφορα σήματα που βασίζονται στην προσοχή που έχουν μελετηθεί ως επεξηγήσεις στον τομέα του NLP.

Αξιολόγηση

Αξιολογούμε την απόδοση αυτών των σημάτων διερευνώντας τη σχέση εισόδου-εξόδου του δικτύου περίληψης βίντεο σύμφωνα με διαφορετικές συναρτήσεις αντικατάστασης, και χρησιμοποιώντας μετρικές που ποσοτικοποιούν την ικανότητα των επεξηγήσεων να εντοπίσουν τα μέρη ενός βίντεο με τη μεγαλύτερη και τη μικρότερη επιρροή.