Estiveram presentes na tarde de hoje, 28, para debaterem Políticas Públicas – Avaliação e Indicadores a coordenadora de pesquisa do Centro Internacional de Políticas para o Crescimento Inclusivo IPC – IGP/PNUD, Diana Sawyer e a técnica de Planejamento, Marta Cassiolato, do IPEA, dentro da série Quintas Codeplan, espaço de debate realizado na última quinta-feira do mês.

O presidente da Codeplan, Lucio Rennó, ao fazer a apresentação das palestrantes, destacou a importância do tema da série Quintas Codeplan. “Quando se trabalha com indicadores, sabe-se o impacto das políticas públicas”.

A primeira palestrante, Diana Sawyer, ao avaliar o impacto dos programas sociais, disse que a integração dos dados do levantamento domiciliar com dados administrativos aumenta a confiabilidade dos resultados e pode baixar o custo da pesquisa.

“São várias as perguntas que devem ser feitas, como se houve alguma diferença na vida dos beneficiários? Pelo fato de uma pessoa receber o bolsa-família, no caso, uma mulher, será que essa mulher teve um empoderamento? O que teria acontecido aos participantes se eles não estivessem participando do programa? indagou Sawer. “Essa é uma relação causal. Na maioria das vezes essas perguntas são feitas após a implementação do programa, requer um desenho metodológico rigoroso, geralmente um tempo de dois anos, com custo alto entre USD 200 mil a mais de 2 milhões”, observou.

Sawyer disse, ainda, que, em 2005, se trabalhou com uma amostra de 15.426 domicílios, 65.000 indivíduos, em 41 municípios mais numerosos, sendo a Unidade Primária de Amostragem (UPA) o setor censitário. Os outros municípios foram agregados para ter o tamanho mínimo de 50.000 habitantes. Esses agregados foram as UPAs, e o setor censitário foi USA (Unidade Secundária de Amostragem).

Medindo o impacto nas políticas públicas

Segundo Sawer, nos Setores Censitários, foi efetuada uma pesquisa inicial em todos os domicílios para identificar as famílias beneficiárias, famílias não beneficiárias, mas registradas no Cadastro Único (CadUnico) e famílias não beneficiárias e não registradas, combinando métodos probabilísticos e determinísticos. “Com a adoção do método, entre outros, houve a limpeza e padronização das bases de dados”, enfatizou.

Dando continuidade à apresentação, Marta Cassiolato falou sobre o Modelo Lógico e a Teoria do Programa: uma proposta para elaborar programa e organizar avaliação. Afirmou que o Modelo Lógico cumpre o papel de explicitar a teoria do programa. É um passo considerado essencial na organização dos trabalhos de monitoramento e avaliação. Trata-se de uma ferramenta útil para aferir a qualidade da teoria.

Verificar se o programa está bem desenhado e se apresenta um plano plausível de alcance dos resultados esperados. “É necessário articular uma explícita descrição das idéias, hipóteses e expectativas que constituem a estrutura do programa e o seu funcionamento esperado. Em muitos casos, a teoria não é explicitada de forma detalhada nos documentos oficiais, dificultando uma análise adequada”, considerou.

Cassiolato afirmou que, ao configurar um desenho do funcionamento do programa, o modelo lógico pode ser a base para um convincente relato do desempenho esperado, ressaltando onde está o problema objeto do programa e como este se qualifica para enfrentá-lo. O modelo lógico serve como um organizador para desenhar avaliação e medidas de desempenho, focalizando nos elementos constitutivos do Programa e identificando quais questões de avaliação devem ser colocadas e quais medidas de desempenho são relevantes.

Para a palestrante a construção de uma referência prévia para a avaliação se faz necessária para estabelecer consensos para as expectativas dos diversos atores envolvidos, minimizando-se os riscos de divergências quanto ao desenho da avaliação, à interpretação dos resultados e às recomendações de mudanças no programa avaliado.

Disse que na proposta do Modelo Lógico do Ipea foi feita uma combinação de elementos de três metodologias: Modelo Lógico; Método ZOPP; Método de Planejamento Estratégico Situacional (PES), entretanto, “o modelo lógico tem a simplicidade de apresentar, sob a forma de um registro gráfico, uma cadeia de conexões mostrando como se espera que um programa funcione para atingir os resultados desejados. Tem a vantagem de comunicar mais facilmente a teoria do programa, mostrando o que é o programa e qual seu desempenho esperado”, pontuou.

A opção pelo formato de diagrama para a estruturação lógica do programa decorre de sua simplicidade em apresentar, sob a forma de um registro gráfico, uma cadeia de conexões mostrando como se espera que um programa funcione para atingir os resultados desejados.

Finalizando o evento, o presidente da Codeplan, Lucio Rennó, agradeceu às palestrantes, reafirmando a importância do debate.

Reportagem: Eliane Menezes
Fotos: Toninho Leite