Basic notions of replication challenges: a view on multiple replications of a highly-configurable systems experiment

Abstract

A medida em que a Engenharia de Software Experimental cresce em maturidade e número de publicações, mais replicações são necessárias para fornecer um fundamento sólido para as evidências encontradas em pesquisas anteriores. No entanto, em geral, estudos de replicação são escassos, e alguns tópicos sofrem mais que outros. Além disso, os desafios associados á replicação de estudos experimentais não são bem compreendidos. Neste estudo, pretende-se preencher esta lacuna investigando as dificuldades que surgem ao se replicar um experimento. Faz-se uso de uma metodologia inovadora, no qual participantes com experiências distintas desempenham o papel de um grupo de pesquisa tentando replicar um estudo experimental. No total, foram feitas oito replicações. E utilizado o método da comparação constante de teoria fundamentada para análise qualitativa. Observou-se nas replicações que a maioria dos resultados se sustenta ao se comparar com os experimentos originais. Entretanto, os participantes relataram diversas dificuldades, a maioria delas relacionadas a clareza das instruções e a qualidade dos artefatos de replicação. Baseado em nossa experiência, também são fornecidas recomendações, que podem ajudar a mitigar problemas relacionados a replicação de estudos experimentais.

As Empirical Software Engineering grows in maturity and number of publications, more replications are needed to provide a solid grounding to the evidence found through prior research. However, replication studies are scarce in general and some topics suffer more than others with such scarcity. On top, the challenges associated with replicating empirical studies are not well understood. In this study, we aim to fill this gap by investigating difficulties emerging when replicating an experiment. We used an innovative method in which participants with distinct backgrounds play the role of a research group attempting to replicate an experimental study. Eight replications in total were performed. We used the grounded theory’s constant comparison method for qualitative analysis. We have seen in our replications that most results hold comparing with the original experiments. However, the participants reported many difficulties, mostly related to the clarity of the instructions and the quality of the replication artifacts. Based on our experience, we also provide recommendations that can help mitigating issues related to experiment replication.