Por favor, use este identificador para citar o enlazar este ítem:
https://repositorio.ufba.br/handle/ri/37993
metadata.dc.type: | Tese |
Título : | Introducing a self-supervised, superfeature-based network for Video object segmentation |
metadata.dc.creator: | Santos, Marcelo Mendonça dos |
metadata.dc.contributor.advisor1: | Oliveira, Luciano Rebouças de |
metadata.dc.contributor.referee1: | Oliveira, Luciano Rebouças de |
metadata.dc.contributor.referee2: | Luz, Eduardo José da Silva |
metadata.dc.contributor.referee3: | Moreira, Gladston Juliano Prates |
metadata.dc.contributor.referee4: | Santos, Thiago Oliveira dos |
metadata.dc.contributor.referee5: | Calumby, Rodrigo Tripodi |
metadata.dc.description.resumo: | A segmentação de objetos em vídeo (VOS) é uma tarefa complexa de visão computacional que envolve a identificação e separação de pixels em uma sequência de vídeo com base em regiões, que podem ser o plano de fundo ou primeiro plano, ou mesmo objetos específicos dentro da cena. A tarefa deve ser realizada de forma consistente ao longo da sequência, garantindo que o mesmo objeto ou região receba o mesmo rótulo em todos os quadros. Avanços recentes em técnicas de aprendizado profundo e datasets de alta definição tem levado a avanços significativos na área de VOS. Métodos modernos podem lidar com cenários de vídeo complexos, incluindo múltiplos objetos em movimento em fundos dinâmicos. No entanto, esses métodos são altamente dependentes de datasets anotados manualmente, que podem ser caros e demorados para serem criados. Alternativamente, métodos auto-supervisionados têm sido propostos para eliminar a necessidade de anotações manuais durante o treinamento. Esses métodos utilizam propriedades intrínsecas de vídeos, como a coerência temporal entre quadros, para gerar um sinal de supervisão para o treinamento sem intervenção humana. A desvantagem é que os métodos auto-supervisionados muitas vezes exigem extensos datasets de treinamento para aprender efetivamente a tarefa de VOS sem supervisão. Neste trabalho, propomos Superfeatures in a Highly Compressed Latent Space (SHLS), um novo método de VOS auto-supervisionado que dispensa anotações manuais e reduz substancialmente a demanda por dados de treinamento. Usando uma abordagem de aprendizado de métrica, o SHLS combina superpixels e recursos de aprendizado profundo, permitindo-nos aprender a tarefa de VOS a partir de um pequeno datasets de imagens estáticas não rotuladas. Nossa solução é construída sobre Iterative over-Segmentation via Edge Clustering (ISEC), nosso eficiente método de superpixels que fornece o mesmo nível de precisão de segmentação que os principais algoritmos de superpixels, enquanto gera significativamente menos superpixels. Isso é especialmente útil para o processamento de vídeos, onde o número de pixels aumenta ao longo do tempo. Nosso método SHLS incorpora features convolucionais dos pixels nas áreas dos superpixels correspondentes, resultando em representações de imagem ultra-compactas chamadas de superfeatures. As superfeatures compõem um espaço latente onde as informações do objeto são armazenadas, recuperadas e classificadas de forma eficiente ao longo da sequência de quadros. Realizamos uma série de experimentos nos datasets de VOS mais populares e observamos resultados competitivos. Comparado aos métodos auto-supervisionados do estado-da-arte, o SHLS alcança a melhor performance no teste de segmentação de objeto único do dataset DAVIS-2016 e ocupa uma das cinco melhores posições no teste de multi-objetos do DAVIS-2017. Notavelmente, nosso método foi treinado com apenas 10.000 imagens estáticas, destacando-se dos outros métodos auto-supervisionados, que exigem datasets de vídeo muito maiores. De modo geral, nosso método proposto representa um avanço significativo na segmentação de objetos em vídeo auto-supervisionada, oferecendo uma alternativa eficiente e eficaz às anotações manuais e reduzindo significativamente a demanda por dados de treinamento. |
Resumen : | Video object segmentation (VOS) is a complex computer vision task that involves identifying and separating the pixels in a video sequence based on regions, which can be either the background or foreground of the scene, or even specific objects within it. The task must be accomplished consistently throughout the sequence, ensuring that the same object or region receives the same label in all frames. Recent advances in deep learning techniques and high-definition datasets have led to significant progress in the VOS area. Modern methods can handle complex video scenarios, including multiple objects moving over dynamic backgrounds. However, these methods rely heavily on manually annotated datasets, which can be expensive and time-consuming to create. Alternatively, self-supervised methods have been proposed to eliminate the need for manual annotations during training. These methods utilize intrinsic properties of videos, such as the temporal coherence between frames, to generate a supervisory signal for training without human intervention. The downside is that self-supervised methods often demand extensive training data to effectively learn the VOS task without supervision. In this work, we propose Superfeatures in a Highly Compressed Latent Space (SHLS), a novel self-supervised VOS method that dispenses manual annotations while reducing substantially the demand for training data. Using a metric learning approach, SHLS combines superpixels and deep learning features, enabling us to learn the VOS task from a small dataset of unlabeled still images. Our solution is built upon Iterative over-Segmentation via Edge Clustering (ISEC), our efficient superpixel method that provides the same level of segmentation accuracy as top-performing superpixel algorithms while generating significantly fewer superpixels. This is especially useful for processing videos, where the number of pixels increases over time. Our proposed SHLS embeds convolutional features from the frame pixels into the corresponding superpixel areas, resulting in ultra-compact image representations called superfeatures. The superfeatures comprise a latent space where object information is efficiently stored, retrieved, and classified throughout the frame sequence. We conduct a series of experiments on the most popular VOS datasets and observe competitive results. Compared to state-of-the-art self-supervised methods, SHLS achieves the best performance on the single-object segmentation test of the DAVIS-2016 dataset and ranks in the top five on the DAVIS-2017 multi-object test. Remarkably, our method was trained with only 10,000 still images, outstanding from the other self-supervised methods, which require much larger video-based datasets. Overall, our proposed method represents a significant advancement in self-supervised VOS, offering an efficient and effective alternative to manual annotations and significantly reducing the demand for training data. |
Palabras clave : | Segmentação de objetos em vídeo Segmentação por superpixels Redes neurais convolucionais |
metadata.dc.subject.cnpq: | CNPQ::CIENCIAS EXATAS E DA TERRA::CIENCIA DA COMPUTACAO::SISTEMAS DE COMPUTACAO::ARQUITETURA DE SISTEMAS DE COMPUTACAO |
metadata.dc.language: | eng |
metadata.dc.publisher.country: | Brasil |
Editorial : | Universidade Federal da Bahia |
metadata.dc.publisher.initials: | UFBA |
metadata.dc.publisher.department: | Instituto de Computação - IC |
metadata.dc.publisher.program: | Programa de Pós-Graduação em Mecatrônica da UFBA (PPGM) |
metadata.dc.rights: | Attribution-NonCommercial-NoDerivs 3.0 Brazil |
metadata.dc.rights.uri: | http://creativecommons.org/licenses/by-nc-nd/3.0/br/ |
URI : | https://repositorio.ufba.br/handle/ri/37993 |
Fecha de publicación : | 9-jun-2023 |
Aparece en las colecciones: | Tese (PPGM) |
Ficheros en este ítem:
Fichero | Descripción | Tamaño | Formato | |
---|---|---|---|---|
my_thesis_VH_impressao.pdf | 29,42 MB | Adobe PDF | Visualizar/Abrir |
Este ítem está sujeto a una licencia Creative Commons Licencia Creative Commons