Use este identificador para citar ou linkar para este item:
https://repositorio.ufba.br/handle/ri/33508
Tipo: | Tese |
Título: | From modeling perceptions to evaluating video summarizers |
Autor(es): | Lima, Kalyf Abdalla Buzar |
Autor(es): | Lima, Kalyf Abdalla Buzar |
Abstract: | Horas de vídeos são enviados para plataformas de streaming a cada minuto, com sistemas
de recomendação sugerindo vídeos populares e relevantes para ajudar economizar o tempo
dos usuários no processo de busca. Sumarizadores de vídeo foram então desenvolvidos
para detectar as partes mais relevantes e automaticamente condensá-las em um vídeo
curto. Atualmente, avaliar esse tipo de método é desafiador uma vez que as métricas não
avaliam a subjetividade dos usuários, como a concisão das anotações. Para lidar com o
critério de concisão, nós propomos uma nova métrica que avalia sumarizadores de vídeo
em múltiplas taxas de compressão. Nossa métrica, chamada Compression Level of USer
Annotation (CLUSA), mensura o desempenho dos sumarizadores de vídeo diretamente
a partir dos escores de relevância preditos. Para isso, a CLUSA gera sumários de vídeo
descartando gradualmente segmentos de vídeo de acordo com os escores de relevância anotados
pelos usuários. Depois de agrupar os sumários de vídeo pelas taxas de compressão,
a CLUSA os compara com os escores de relevância preditos. Para preservar informações
relevantes em resumos de vídeo concisos, CLUSA então pondera o desempenho dos sumarizadores
de vídeo em cada faixa de compressão e, por fim, calcula uma pontuação geral
de desempenho. Considerando que a CLUSA pondera todas as faixas de compressão,
mesmo aquelas que não foram abrangidas pelas anotações dos usuários, o desempenho de
base muda com cada conjunto de dados. Consequentemente, a interpretação do escore
de desempenho para os sumarizadores de vídeo não é tão direta quanto em outras métricas.
Em nossos experimentos, comparamos a CLUSA com outras métricas de avaliação
para sumarização de vídeo. Nossas descobertas sugerem que todas as métricas analisadas
avaliam adequadamente sumarizadores de vídeo usando anotações binárias. Para as anotações
multivaloradas, a CLUSA mostrou-se mais adequada, preservando as informações
de vídeo mais relevantes no processo de avaliação. Hours of video are uploaded to streaming platforms every minute, with recommender systems suggesting popular and relevant videos that can help users save time in the searching process. Video summarizers have been developed to detect the video’s most relevant parts, automatically condensing them into a shorter video. Currently, evaluating this type of method is challenging since the metrics do not assess user annotations’ subjective criteria, such as conciseness. To address the conciseness criterion, we propose a novel metric to evaluate video summarizers at multiple compression rates. Our metric, called Compression Level of USer Annotation (CLUSA), assesses the video summarizers’ performance by matching the predicted relevance scores directly. To do so, CLUSA generates video summaries by gradually discarding video segments from the relevance scores annotated by users. After grouping the generated video summaries by the compression rates, CLUSA matches them to the predicted relevance scores. To preserve relevant information in concise video summaries, CLUSA weighs the video summarizers’ performance in each compression range to compute an overall performance score. As CLUSA weighs all compression ranges even that user annotations do not span some compression rates, the baseline changes with each video summarization data set. Hence, the interpretation of the video summarizers’ performance score is not as straightforward as other metrics. In our experiments, we compared CLUSA with other evaluation metrics for video summarization. Our findings suggest that all analyzed metrics evaluate video summarizers appropriately using binary annotations. For multi-valued ones, CLUSA proved to be more suitable, preserving the most relevant video information in the evaluation process. |
Palavras-chave: | Sumarização de vídeo Sumarizadores de vídeo Avaliação Métrica Compression Level of USer Annotation (CLUSA) |
CNPq: | Ciências Exatas e da Terra Ciência da Computação |
País: | brasil |
Sigla da Instituição: | UFBA |
metadata.dc.publisher.program: | em Ciência da Computação |
Tipo de Acesso: | Acesso Aberto |
URI: | http://repositorio.ufba.br/ri/handle/ri/33508 |
Data do documento: | 27-Mai-2021 |
Aparece nas coleções: | Tese (PGCOMP) |
Arquivos associados a este item:
Arquivo | Descrição | Tamanho | Formato | |
---|---|---|---|---|
Tese_PhD_Final.pdf | 3,14 MB | Adobe PDF | Visualizar/Abrir |
Os itens no repositório estão protegidos por copyright, com todos os direitos reservados, salvo quando é indicado o contrário.