quinta-feira, 14 de outubro de 2010

Pau nas pesquisas, sim!

Quem explica é Alfredo Wenzel, colega e parceiríssimo da Limite Consultoria (http://limiteconsultoria.com.br/). Como eles são especialistas em pesquisa, aí vão informações esclarecedoras e preocupantes que merecem muita atenção:

"A audiência aqui é muito boa, portanto vou colocar mais alguns ingredientes e pontos para consideração sobre alguns dos temas já abordados nesse blog e que aparecem em outros fóruns e que muitas vezes não são discutidos como deveriam principalmente nessa época onde as pesquisas estão muito em foco.

O objetivo não é avaliar a qualidade do instituto A ou B, mas levantar questões pertinentes que deveriam ser observadas e que influenciam as estimativas finais, principalmente porque no final das contas o que vale é a diferença entre essas estimativas e valores observados, vou tentar não utilizar muitos jargões estatísticos:

1-Erro Amostral: em delineamentos por Cotas não existe procedimento para calcular a margem de erro porque não é uma amostragem probabilística, aliás sempre que se estiver trabalhando com amostras não probabilísticas não existe meios de calcular margens de erros. O fato de ser probabilística é que permite admitir a distribuição de probabilidade que permite calcular tais probabilidades.

2-Cálculo de Margem de Erro: supondo uma amostragem probabilística a distribuição que deveria ser utilizada na maioria dos casos para cálculo das margens de erro em pesquisas de Opinião Pública seria a Multinomial e não a Binomial no caso de perguntas fechadas. Se a questão for aberta essa possibilidade pode ser difícil de ser modelada.

3- Erro Não Amostral: aqui incluo os entrevistadores, e basicamente eles podem errar em pelo menos duas maneiras: proposital ou preenchimento, é claro que uma equipe bem treinada, coordenadores acompanhando o trabalho e algoritmos de validação orientando o trabalho de checagem são fundamentais e minimizam bem esses problemas.

4-Inferência para os indecisos (ou eles são desconsiderados?): me parece estranho, muito simplificado e não usual fazer inferência na intenção de voto de eleitores indecisos baseado apenas na distribuição dos índices globais de cada candidato, para realização dessas inferências no mínimo deveria ser levado em consideração também o perfil demográfico, econômico, etc da pessoa indecisa bem como indicadores de rejeição aos demais candidatos e mesmo assim não é uma tarefa fácil.

5-Por fim, a questão dos votos não computados é claro que também causam efeitos nas estimativas, quando um eleitor é entrevistado ele diz qual é a intenção de voto, em uma eleição com tantos cargos é natural que muitos dos votos que deveriam ocorrer na prática não ocorram.

Vou parar por aqui, novamente volto a salientar que pesquisa não é algo simples, nem todas as variáveis estão sob controle e que uma discussão sobre o tema deveria ser bastante profunda e não se limitar “a 2% para mais ou para menos” baseado apenas na quantidade de entrevistas feitas.
Abraços e pau nesse comentário!

Alfredo"


3 comentários:

  1. Agradeço, Alfredo pelo seu comentário que de tão claro e pertinente, virou post.

    ResponderExcluir
  2. Alfredo está certíssimo!!! É absurdo que os institutos insistam nestas margens de erro apertadas, ainda mais quando os "back-tests" da vida real mostram discrepância consistentemente maior.

    Abraços,
    André

    ResponderExcluir
  3. A Lei 9504/97 determina, em seu artigo 33, que qualquer pesquisa a ser divulgada deve ser registrada junto à Justiça Eleitoral, até cinco dias antes da divulgação, uma série de informações e, dentre eles (incico IV) "plano amostral e ponderação quanto a sexo, idade, grau de instrução, nível econômico e área física de realização do trabalho, intervalo de confiança e margem de erro". A lei obviamente tinha a boa intenção de coibir pesquisas picaretas colocando uma série de exigências técnicas, imaginando que, assim, tudo sairia bonitinho. Mas acabou criando uma situação legalmente bizarra para os estatísticos sérios: se fazem pesquisas por cota e cumprem a lei, cometem um erro estatístico, ou 2) se dizem que não têm margem de erro, têm suas pesquisas rejeitas pelo TRE.

    A adoção de mandamentos técnicos pelo legislativo e TSE é, na minha opinião, muito ruim para nós, estatísticos, porque insinua que há malandros entre nós, ou seja, estatísticos que não seguirão nosso código de ética profissional e/ou farão pesquisas estrategicamente viesadas. Ou, significa que muitas empresas de pesquisa de opinião não têm um bom técnico estatístico e, portanto, a lei ajudaria a manter a "qualidade" das pesquisas eleitorais. Exigir plano de ponderação é um absurdo. Por que a minha amostra deve ser necessariamente ponderada por "sexo, idade, grau de instrução, nível econômico"?

    Acho que falta muito para que as nossas pesquisas eleitorais atinjam um patamar de excelência. É preciso mais interesse da academia para pensar em metodologias alternativas inteligentes e baratas (e viáveis sob o ponto de vista logístico das entrevistas) e estatisticamente confiáveis. Não que isso vá garantir que não haverá mais erros, mas pelo menos pode nos dar o conforto de dizer que não há grande furos teóricos envolvidos nos eventuais erros.

    No vale tudo das pesquisas eleitorais, os interesses são múltiplos e a falta de conhecimento técnico dos juízes eleitorais acaba trazendo outros impasses. Por exemplo, uma pesquisa foi impugnada por não ter sido baseada em dados do PNAD mais recente: foi alegado ao juiz que houve má fé do instituto de pesquisa pois houve alteração nas características populacionais ausente no PNAD antigo. Outro exemplo: pesquisa indeferida por não haver matriz de ponderação. Como pode isso? Se a pesquisa já por cota e previamente ponderada, para quê ponderar? Mais um exemplo escabroso: pesquisa impugnada porque (1-alpha)+(margem de erro) não somou 100%! E por aí vai.

    Nós, estatísticos, temos uma participação extremamente modesta na sociedade, na vida pública, no exercício da cidadania. Somos desconhecidos e, por vezes, considerados incompreensíveis. Podemos mudar isso?

    ResponderExcluir