Sustentabilidade técnica de software acadêmico no domínio de ferramentas de análise estática

Abstract

O uso crescente de software acadêmico, isto é, software desenvolvido para apoiar pesquisas científicas em diversas áreas do conhecimento, tem feito a Ciência moderna depender da sustentabilidade técnica do software. O desenvolvimento não sustentável de software acadêmico pode ferir um dos fundamentos da Ciência: a reprodutibilidade, ou a capacidade de reprodução de estudos científicos por pesquisadores independentes. Além disso, o desenvolvimento não sustentável de software acadêmico em um domínio pode levar a um quadro de desordem caótica disfuncional (DCD), caracterizado pela existência de muitos projetos similares, com poucos usuários e ciclos de vida curtos, e que terminam em paralelo ao financiamento inicial, comunidades desconectadas e paralelas, incompatibilidade entre projetos e tentativas aparentemente não coordenadas de “reiniciar" tudo. No entanto, não há estudos sobre sustentabilidade técnica ou DCD em software acadêmico da área de Engenharia de Software, especialmente no domínio de análise estatística, com uma longa tradição no desenvolvimento de ferramentas para apoiar pesquisas em diferentes áreas. O objetivo geral desta pesquisa de mestrado foi analisar projetos de software acadêmico de análise estatística com o propósito de caracterizar sua sustentabilidade técnica, com respeito a publicização, reconhecimento e ciclo de vida, na perspectiva do cientista {desenvolvedor ou usuário { de software acadêmico no contexto das conferências ASE (Automated Software Engineering) e SCAM (Working Conference on Source Code Analysis & Manipulation). O software acadêmico publicado nessas conferências foi objeto de uma pesquisa documental, realizada com base em código-fonte, manuais e repositórios. Uma revisão da literatura foi realizada nas bases da ACM e IEEE para a caracterização do reconhecimento do software acadêmico em termos de tipos e número de menções feitas por outros artigos científicos e contribuições em seu código-fonte. Para software acadêmico com código-fonte disponível, foi realizada a caracterização de seu ciclo de vida, com base no número de módulos e no número de lançamentos. Foram encontrados 60 projetos de software acadêmico de análise estatística publicados em artigos da ASE e SCAM. A caracterização de sua sustentabilidade técnica mostrou que: 40% não está disponível publicamente, ou seja, não é possível obter o software na URL informada pelos autores, dificultando a reprodução de estudos que tenham usado tal software; 23% não possui outra menção nas bases ACM e IEEE além da publicação original do software; e 30% recebeu contribuição em código-fonte. Pode-se observar alguns indícios de DCD: existência de muitos projetos de software acadêmico de análise estatística com poucos usuários, e ciclos de vida curtos. 78% dos projetos de software acadêmico de análise estatística estão em estado inicial de desenvolvimento, descontinuado ou encerrado.

The increasing adoption of academic software, the software designed to support scientific research in various areas of knowledge, has made the modern Science depends on the technical sustainability of software. Unsustainable development of academic software makes it dificult one of the Science foundations: the reproducibility, or the reproduction’s capacity of scientific studies by independent researchers. In addition, non-sustainable development of academic software can lead to a “dysfunctional chaotic churn” - DCC, characterized by the existence of many similar projects, with few users and short life cycles, ending in parallel with the initial funding, disconnected and parallel communities, incompatibility between projects, and seemingly uncoordinated attempts to “reboot” everything. However, there are no studies on technical sustainability or DCC in academic software of the Software Engineering field, especially in the field of static analysis, with a long tradition in the development of tools to support research in different areas. The overall objective of this master’s research was to analyze the static analysis software with the purpose of characterizing its technical sustainability, with respect to publicity, recognition and life cycle, from the perspective of the scientist – developer or user – of academic software in the context of ASE (Automated Software Engineering) and SCAM (Working Conference on Source Code Analysis & Manipulation). The academic software published at these conferences was the object of a documentary research, carried out based on source code, manuals and repositories. A literature review was carried out at ACM and IEEE for the characterization of academic software recognition in terms of the types and number of mentions made by other scientific articles, including contributions in its source code. For academic software with source code available, we carried out the characterization of its life cycle, based on the number of modules and the number of releases. We found 60 projects published in ASE and SCAM conferences. The characterization of its technical sustainability showed that: 40% is not publicly available, it is not possible to obtain the software in the URL informed by the authors, making it hard to reproduce of studies that have used such software; 23% has no mentions in the ACM and IEEE besides those made in the original publication of the software; and 30% received contribution in source code. We could observe some evidence of DCC: existence of many academic software projects of static analysis with few users, and short life cycles. 78% of the static analysis academic software projects are in the initial state of development, discontinued or terminated.