Comparando técnicas de extração de valores limiares para métricas de código fonte: um estudo com desenvolvedores Web

Abstract

Métricas de código fonte permitem medir diferentes atributos do software e têm potencial para apoiar a identificação de problemas de design que podem interferir na compreensibilidade e na manutenibilidade do software. A identificação de problemas de design pode revelar partes do código fonte que precisam ser monitoradas com mais atenção. No entanto, um dos principais desafios na utilização de métricas em atividades de monitoramento da qualidade do código fonte é a definição de valores limiares que sejam capazes de identificar os problemas de design que realmente sejam considerados problemas de acordo com a percepção dos desenvolvedores. Embora exista uma série de técnicas de extração de valores limiares, percebe-se que os valores limiares obtidos por meio delas geram muitos falso-positivos. Isto é, existem muitos elementos de código (ex.: classes ou métodos) cujos valores de métricas ultrapassam os valores limiares que, ao serem avaliados por desenvolvedores, não são considerados como problemáticos. Portanto, a participação de desenvolvedores é importante para avaliar a efetividade de valores limiares. Poucos estudos avaliam a efetividade de diferentes técnicas de extração de valores limiares com base na percepção de desenvolvedores. Este trabalho teve como objetivo, portanto, conduzir um estudo para investigar a percepção de desenvolvedores sobre os problemas de design detectados com os valores limiares obtidos por meio de cinco técnicas diferentes que extraem valores limiares a partir de benchmarks de sistemas. Diante deste cenário, realizamos dois estudos, um preliminar em que analisamos dois sistemas e dois desenvolvedores, e um outro estudo em que analisamos quatro sistemas e oito desenvolvedores. Os resultados indicam que os desenvolvedores utilizam os papéis de design para avaliar a existência ou não dos problemas de design, e a utilização de técnicas de extração de valores limiares que levam em consideração alguma informação de contexto, como sistemas de referência e/ou papéis de design, pode auxiliar a reduzir o número de falso-positivos.

Source code metrics quantify different software attributes and have the potential to support the identification of design problems that may affect software comprehensibility and maintainability. Identifying design problems can reveal parts of the source code that need to be monitored more closely. However, one of the major challenges in using metrics in source code quality monitoring activities is the definition of threshold values that are capable of identifying design problems that are actually considered problems according to developers' perceptions. Although there are a number of techniques for extracting threshold values, the threshold values obtained by means of them generate many false positives. That is, there are many code elements (e.g., classes or methods) whose metric values exceed threshold values that, when evaluated by developers, are not considered to be problematic. Therefore, the participation of developers is important to analyze threshold value effectiveness. Few studies evaluate the effectiveness of different threshold extraction techniques based on the perception of developers. Therefore, the goal of this work was to conduct an experimental study to investigate the perception of developers about design problems detected with threshold values obtained by means of five different techniques that extract threshold values from system benchmarks. In this scenario, we conducted two studies, a preliminary one in which we analyzed two systems and two developers' perception, and a second study in which we analyzed four systems and eight developers. The results indicate that developers use design roles to assess whether or not design problems exist, and techniques that take into account some contextual information, such as reference systems or design papers to derive thresholds may reduce the number of false-positives.