Combinatorial interaction testing tools for software product lines engineering: a comparative analysis

Abstract

Testing a system is a routine activity and plays an important role in the software quality assurance process. However, testing highly-configurable systems, such as Software Product Lines (SPL), is a complex activity due to the presence of variability in its engineering process, which increases the number of product configurations to test. In case a defect affects one (or a subset) of these functionalities, a range of products (and not just one, such as in traditional Software Engineering, in which each product is built from scratch) may be affected. Such complexity also implies a significant increase in the cost of testing. The use of tool-supported sampling testing techniques could bring significant contributions to achieve reductions in such a cost. Among the most effective techniques, Combinatorial Interaction Testing (CIT) has been used extensively to sample inputs to software, and to test highly-configurable software systems. CIT is based on the premise that many errors in software can only arise from the interaction of two or more parameters. CIT take as input a configuration model that defines the valid configuration space for the software under test. This model typically includes a set of configuration options, each of which takes a value from a small number of discrete settings, and a set of system-wide constraints among configuration options. Given the model, these methods compute a t-way covering array - a set of configurations, in which each valid combination of option settings for every combination of t options appears at least once. The system is then tested by running its test suite in all the configurations selected. In this investigation, we aimed to analyze the effectiveness of existing tool support for CIT. To accomplish ou goal, we introduced the MERCI - a Method to Evaluate Combinatory Interaction Testing techniques, aimed to establish a systematic means to evaluate the adequacy of existing CIT tools for highly-configurable systems testing. In this work, we performed an empirical evaluation to compare four CIT tools: ACTS, CATS, PICTMaster and VPTag. The analysis considered the metrics defect detection, test coverage and test execution length. The yielded results show that the method could be employed as a good mechanism to evaluate how CIT tools could behave in a practical SPL testing scenario.

Testar um sistema é uma atividade rotineira e desempenha um papel importante no pro cesso de garantia de qualidade do software. Entretanto, o teste de sistemas altamente configuráveis, como as Linhas de Produto de Software (LPS), é uma atividade complexa, devido á presença de variabilidade em seu processo de engenharia, que aumenta o número de configurações de produto a se testar. Caso um defeito afete um (ou um subconjunto) destas funcionalidades, uma gama de produtos (e não apenas um, como é o caso da Engenharia de Software tradicional) será afetada. Tal complexidade implica ainda no aumento significativo do custo da atividade de testes. O uso de técnicas de teste de amostragem apoiadas por suporte ferramental podem trazer contribuições significativas para alcançar reduções de custo. Dentre as técnicas mais eficazes, destaca-se o teste de interação combinatória (CIT), que tem sido usado extensivamente para prover amostras de entradas no teste de sistemas de software altamente configuráveis. O CIT baseia-se na premissa de que muitos erros no software só podem surgir da interação de dois ou mais parâmetros. O CIT toma como entrada um modelo de configuração que define o espaço de configuração válido para o software em teste. Esse modelo geralmente inclui um conjunto de opções de configuração, cada uma delas obtendo um valor de um pequeno número de configurações discretas e um conjunto de restrições de todo o sistema entre as opções de configuração. Dado o modelo, esses métodos calculam uma matriz de abrangência t - um conjunto de configurações, no qual cada combinação válida de configurações de opção para cada combinação de opções aparece pelo menos uma vez. O sistema é então testado executando seu conjunto de testes em todas as configurações selecionadas. Esta dissertação apresenta o MERCI, um método para avaliar técnicas de teste de interação combinatória. O objetivo do MERCI é avaliar a adequação das ferra mentas de CIT existentes, amplamente empregadas no teste de software tradicional, para a engenharia de LPS. Neste trabalho, realizamos uma avaliação empírica para comparar quatro ferramentas de CIT: ACTS, CATS, PICTMaster e VPTag. A análise considerou as métricas de detecção de defeitos, cobertura de testes e tempo de execução dos testes. Os resultados mostraram que o método pode servir como um bom indicador para avaliar como as ferramentas CIT poderiam se comportar em um cenário prático de testes de projetos LPS.