Avaliação de políticas públicas como indutora de aprendizagem: percepção de gestores estaduais e municipais sobre o Programa Bolsa Família

Abstract

O presente estudo tem como objetivo analisar como as práticas avaliativas, implementadas pelo MDS para o Programa Bolsa Família, têm proporcionado o desenvolvimento de processos de aprendizagens nas práticas de gestão e/ou gerência do programa junto a governos estaduais e municipais. Para isso, definiu-se como objeto a análise da percepção dos gestores estaduais e municipais. Inicialmente foram analisadas as concepções teórico-metodológicas que fundamentaram a concepção, o desenho e a implantação das políticas avaliativas do MDS para avaliar o programa. Nesse aspecto, foi dado destaque para a análise do processo avaliativo e os respectivos instrumentos de avaliação - etapas de avaliação, atores envolvidos, instituições executoras, secretaria responsável, envolvimento com outros ministérios, dentre outros. Nessa etapa, foram verificadas as metodologias utilizadas pelo MDS, de acordo com o timing, a posição do avaliador e a natureza do objeto avaliado, bem como em relação aos critérios, indicadores e padrões estabelecidos. Identificou-se que houve uma combinação de diferentes fontes de dados, de instrumentos de coleta de dados, de critérios de avaliação e de sujeitos/unidades de análise, assim como uma preocupação pela profissionalização das avaliações, na medida em que a opção do governo foi realizá-las por meio de instituições externas, principalmente por grupos de pesquisas vinculados a universidades públicas. A opção metodológica para a realização desse objetivo se fundamentou na coleta e análise de dados secundários, tendo como ênfase os documentos oficiais do MDS e como tratamento dos dados se utilizou a análise de conteúdo. Posteriormente, o objetivo foi identificar os principais processos de aprendizagens decorrentes das práticas de avaliação do MDS no âmbito das práticas de gestão/gerência do programa junto aos gestores. Nessa etapa predominou como instrumento de coleta, o questionário semiestruturado. Os principais achados da pesquisa permitem inferir que os processos de aprendizagem resultantes das pesquisas avaliativas do MDS para o PBF junto aos estados foi muito baixo. Mas para a percepção dos gestores municipais observa-se uma visão mais positiva sobre o aprendizado com base nas pesquisas avaliativas realizadas, demonstrado por muitos gestores que houve aproveitamento para a gerência do programa. Foi possível observar que a percepção de aprendizado está mais relacionada aos aspectos gerenciais (vinculados à execução do PBF) do que a aspectos mais instrumentais e conceituais, que possibilitem a esses atores assumirem um papel mais ativo e autônomo junto à gestão do programa. Em síntese, identificou-se que os fatores limitadores e potencializadores dos processos de aprendizagens nas práticas de gestão e/ou gerência do programa junto a governos estaduais e municipais estão relacionados aos seguintes aspectos: profissionalização da gestão, contingente de servidores nas funções técnicas, especialmente para atender as demandas da gestão compartilhada entre estados e municípios; nível de comunicação intergovernamental; política continuada de capacitação e formação da equipe de trabalho; experiência com a utilização de banco de dados e análise de indicadores de gestão e avaliação; infraestrutura administrativa das secretarias estaduais e municipais; número de servidores públicos; e articulação, integração e coordenação entre as esferas de governo na gestão do programa.

O presente estudo tem como objetivo analisar como as práticas avaliativas, implementadas pelo MDS para o Programa Bolsa Família, têm proporcionado o desenvolvimento de processos de aprendizagens nas práticas de gestão e/ou gerência do programa junto a governos estaduais e municipais. Para isso, definiu-se como objeto a análise da percepção dos gestores estaduais e municipais. Inicialmente foram analisadas as concepções teórico-metodológicas que fundamentaram a concepção, o desenho e a implantação das políticas avaliativas do MDS para avaliar o programa. Nesse aspecto, foi dado destaque para a análise do processo avaliativo e os respectivos instrumentos de avaliação - etapas de avaliação, atores envolvidos, instituições executoras, secretaria responsável, envolvimento com outros ministérios, dentre outros. Nessa etapa, foram verificadas as metodologias utilizadas pelo MDS, de acordo com o timing, a posição do avaliador e a natureza do objeto avaliado, bem como em relação aos critérios, indicadores e padrões estabelecidos. Identificou-se que houve uma combinação de diferentes fontes de dados, de instrumentos de coleta de dados, de critérios de avaliação e de sujeitos/unidades de análise, assim como uma preocupação pela profissionalização das avaliações, na medida em que a opção do governo foi realizá-las por meio de instituições externas, principalmente por grupos de pesquisas vinculados a universidades públicas. A opção metodológica para a realização desse objetivo se fundamentou na coleta e análise de dados secundários, tendo como ênfase os documentos oficiais do MDS e como tratamento dos dados se utilizou a análise de conteúdo. Posteriormente, o objetivo foi identificar os principais processos de aprendizagens decorrentes das práticas de avaliação do MDS no âmbito das práticas de gestão/gerência do programa junto aos gestores. Nessa etapa predominou como instrumento de coleta, o questionário semiestruturado. Os principais achados da pesquisa permitem inferir que os processos de aprendizagem resultantes das pesquisas avaliativas do MDS para o PBF junto aos estados foi muito baixo. Mas para a percepção dos gestores municipais observa-se uma visão mais positiva sobre o aprendizado com base nas pesquisas avaliativas realizadas, demonstrado por muitos gestores que houve aproveitamento para a gerência do programa. Foi possível observar que a percepção de aprendizado está mais relacionada aos aspectos gerenciais (vinculados à execução do PBF) do que a aspectos mais instrumentais e conceituais, que possibilitem a esses atores assumirem um papel mais ativo e autônomo junto à gestão do programa. Em síntese, identificou-se que os fatores limitadores e potencializadores dos processos de aprendizagens nas práticas de gestão e/ou gerência do programa junto a governos estaduais e municipais estão relacionados aos seguintes aspectos: profissionalização da gestão, contingente de servidores nas funções técnicas, especialmente para atender as demandas da gestão compartilhada entre estados e municípios; nível de comunicação intergovernamental; política continuada de capacitação e formação da equipe de trabalho; experiência com a utilização de banco de dados e análise de indicadores de gestão e avaliação; infraestrutura administrativa das secretarias estaduais e municipais; número de servidores públicos; e articulação, integração e coordenação entre as esferas de governo na gestão do programa.

The purpose of this study is to analyze how assessment practices, implemented by the MSD for the “Programa Bolsa Família” (PBF) have provided for the development of learning processes in management practices and/or program management at the state and local government levels. In order to achieve this, it was defined as subject analysis the perception of managers about it. Initially, the theoretical and methodological conceptions that substantiate the conception, design and implementation of assessment policies of MDS to evaluate the program were analyzed. In this regard, prominence was given to the analysis of the evaluation process and its related assessment instruments. This required emphasizing aspects such as evaluation stages, stakeholders, executing agencies, secretariat level responsibilities and involvement with other ministries, among others. At this stage, the methodologies used by MDS were verified, according to the timing, evaluator position and the nature of evaluated object, as well as the established indicators and standards. The combination of different data sources, data collection instruments, evaluation criteria and subject/unit of analysis were identified. Added to this was a concern about the professionalization of assessments. This became an issue because the government's options were to have external institutions, mainly by research groups linked to public universities, administer the evaluations. The methodology for achieving this goal was based on the collection and analysis of secondary data, giving special attention to MSD official documents. The option for data processing was content analysis. Subsequently, the objective was to identify main learning processes arising from MSD assessment practices within program management practices. At this stage, a semi-structured questionnaire was used as a tool for data collection. The main findings from the study allow the researcher to infer that the learning processes resulting from evaluative research of MDS for PBF with states was very low. However, it was observed that municipal managers have a more favorable opinion about the learning based on evaluative research that was conducted. It was also observed the perception of learning is more related to managerial aspects (linked to implementation of PBF) than to instrumental and conceptual factors – which would allow these actors to assume more active roles, and to have greater autonomy in managing the program. In brief, it was found that both limiting and enhancing factors of learning processes in management practices and/or program management at states and local management are related to: improvement of professional capabilities of managers in order to increase the number of professionals in technical positions. This is especially important in order to meet the demands of shared management between states and municipalities, and improve intergovernmental communication at all levels. Also important are: the establishment of continued training policies in order to build work teams, and improve experience with database and analysis of management and evaluation indicators. Furthermore, it is critical to enhance administrative infrastructure in states and municipal departments, increase the number of civil servants, create more networking opportunities, as well as greater integration and coordination between levels of government in managing the program.

The purpose of this study is to analyze how assessment practices, implemented by the MSD for the “Programa Bolsa Família” (PBF) have provided for the development of learning processes in management practices and/or program management at the state and local government levels. In order to achieve this, it was defined as subject analysis the perception of managers about it. Initially, the theoretical and methodological conceptions that substantiate the conception, design and implementation of assessment policies of MDS to evaluate the program were analyzed. In this regard, prominence was given to the analysis of the evaluation process and its related assessment instruments. This required emphasizing aspects such as evaluation stages, stakeholders, executing agencies, secretariat level responsibilities and involvement with other ministries, among others. At this stage, the methodologies used by MDS were verified, according to the timing, evaluator position and the nature of evaluated object, as well as the established indicators and standards. The combination of different data sources, data collection instruments, evaluation criteria and subject/unit of analysis were identified. Added to this was a concern about the professionalization of assessments. This became an issue because the government's options were to have external institutions, mainly by research groups linked to public universities, administer the evaluations. The methodology for achieving this goal was based on the collection and analysis of secondary data, giving special attention to MSD official documents. The option for data processing was content analysis. Subsequently, the objective was to identify main learning processes arising from MSD assessment practices within program management practices. At this stage, a semi-structured questionnaire was used as a tool for data collection. The main findings from the study allow the researcher to infer that the learning processes resulting from evaluative research of MDS for PBF with states was very low. However, it was observed that municipal managers have a more favorable opinion about the learning based on evaluative research that was conducted. It was also observed the perception of learning is more related to managerial aspects (linked to implementation of PBF) than to instrumental and conceptual factors – which would allow these actors to assume more active roles, and to have greater autonomy in managing the program. In brief, it was found that both limiting and enhancing factors of learning processes in management practices and/or program management at states and local management are related to: improvement of professional capabilities of managers in order to increase the number of professionals in technical positions. This is especially important in order to meet the demands of shared management between states and municipalities, and improve intergovernmental communication at all levels. Also important are: the establishment of continued training policies in order to build work teams, and improve experience with database and analysis of management and evaluation indicators. Furthermore, it is critical to enhance administrative infrastructure in states and municipal departments, increase the number of civil servants, create more networking opportunities, as well as greater integration and coordination between levels of government in managing the program.