From modeling perceptions to evaluating video summarizers

Abstract

Horas de vídeos são enviados para plataformas de streaming a cada minuto, com sistemas de recomendação sugerindo vídeos populares e relevantes para ajudar economizar o tempo dos usuários no processo de busca. Sumarizadores de vídeo foram então desenvolvidos para detectar as partes mais relevantes e automaticamente condensá-las em um vídeo curto. Atualmente, avaliar esse tipo de método é desafiador uma vez que as métricas não avaliam a subjetividade dos usuários, como a concisão das anotações. Para lidar com o critério de concisão, nós propomos uma nova métrica que avalia sumarizadores de vídeo em múltiplas taxas de compressão. Nossa métrica, chamada Compression Level of USer Annotation (CLUSA), mensura o desempenho dos sumarizadores de vídeo diretamente a partir dos escores de relevância preditos. Para isso, a CLUSA gera sumários de vídeo descartando gradualmente segmentos de vídeo de acordo com os escores de relevância anotados pelos usuários. Depois de agrupar os sumários de vídeo pelas taxas de compressão, a CLUSA os compara com os escores de relevância preditos. Para preservar informações relevantes em resumos de vídeo concisos, CLUSA então pondera o desempenho dos sumarizadores de vídeo em cada faixa de compressão e, por fim, calcula uma pontuação geral de desempenho. Considerando que a CLUSA pondera todas as faixas de compressão, mesmo aquelas que não foram abrangidas pelas anotações dos usuários, o desempenho de base muda com cada conjunto de dados. Consequentemente, a interpretação do escore de desempenho para os sumarizadores de vídeo não é tão direta quanto em outras métricas. Em nossos experimentos, comparamos a CLUSA com outras métricas de avaliação para sumarização de vídeo. Nossas descobertas sugerem que todas as métricas analisadas avaliam adequadamente sumarizadores de vídeo usando anotações binárias. Para as anotações multivaloradas, a CLUSA mostrou-se mais adequada, preservando as informações de vídeo mais relevantes no processo de avaliação.

Hours of video are uploaded to streaming platforms every minute, with recommender systems suggesting popular and relevant videos that can help users save time in the searching process. Video summarizers have been developed to detect the video’s most relevant parts, automatically condensing them into a shorter video. Currently, evaluating this type of method is challenging since the metrics do not assess user annotations’ subjective criteria, such as conciseness. To address the conciseness criterion, we propose a novel metric to evaluate video summarizers at multiple compression rates. Our metric, called Compression Level of USer Annotation (CLUSA), assesses the video summarizers’ performance by matching the predicted relevance scores directly. To do so, CLUSA generates video summaries by gradually discarding video segments from the relevance scores annotated by users. After grouping the generated video summaries by the compression rates, CLUSA matches them to the predicted relevance scores. To preserve relevant information in concise video summaries, CLUSA weighs the video summarizers’ performance in each compression range to compute an overall performance score. As CLUSA weighs all compression ranges even that user annotations do not span some compression rates, the baseline changes with each video summarization data set. Hence, the interpretation of the video summarizers’ performance score is not as straightforward as other metrics. In our experiments, we compared CLUSA with other evaluation metrics for video summarization. Our findings suggest that all analyzed metrics evaluate video summarizers appropriately using binary annotations. For multi-valued ones, CLUSA proved to be more suitable, preserving the most relevant video information in the evaluation process.