Análise gráfica de um experimento

Ao fazer um teste de uma mudança ou, como se diz tecnicamente, um experimento, a gente está ansioso pra ver os resultados e agir a partir do que se aprendeu.

Há procedimentos formais de análise de um experimento. Já vimos aqui um exemplo no post "Experimentos em marketing". Vou mostrar, num outro exemplo, a versão gráfica, que na minha opinião é a parte mais importante da análise.

O experimento foi conduzido por uma equipe de melhoria da qual fui o coaching (atuei como se fosse um Black Belt da equipe). Eles atuavam numa administradora de cartões de crédito e tinham o objetivo de aumentar o desempenho de venda dos canais disponíveis na época.

Abaixo temos um resumo do experimento:

• Onde: diretoria comercial de cartão de crédito
• Quem: grupo “melhoria de canais de venda”
• Porque: tentar aumentar taxa de venda dos mailings disponíveis
• O que: experimento comparando mala direta e telemarketing em 2 segmentos (baixa e alta renda)
• Como: dividimos os mailings de cada segmento (baixa e alta renda) em 4 partes aleatoriamente e testamos cada parte da seguinte maneira: vender só com mala, só com tmkt, e mala+tmkt, além do grupo controle.

A equipe conduziu o experimento e coletou os resultados para a análise abaixo:



Pelos dados, a equipe já concluiu que enviar a mala e fazer o telemarketing funciona muito bem. Pedi então para a equipe me trazer um gráfico mostrando esses resultados. Veja:



Trata-se de uma boa representação da tabela, mas ele não mostra claramente os efeitos dos fatores que aplicamos no experimento. Orientei a equipe para fazer um gráfico mais adequado pra ver esses efeitos. Veja o resultado:



O que você me diz agora dos fatores mala e telemarketing?

Até
Roberto

Selic acompanha IPCA, ou é o contrario?

No último dia 10, o Banco Central cortou mais um pouquinho a taxa de juros selic, ou seja, 0,25 pontos percentuais. Estamos em 7,25% ao ano. Foi um pouquinho ou um pouquiiiiiinnnhoo (parodiando aquele guri do comercial de TV)? Acho que foi o segundo caso.

O gráfico da Folha do dia seguinte não conta toda a história, veja:



Fui buscar os dados desde 2000 e veja como foi o controle da taxa Selic pelo Copom:



Ocorre que essa é só meia história. Queria entender em que o Copom se baseia para gerenciar essa curva. Li várias atas das reuniões do Copom e a palavra mais citada sem dúvida é inflação, e com ela IPCA. Decidi entender essa relação...

Peguei os dados do IPCA mensal desde 2000 para comparar as curvas e veja se você encontra alguma semelhança com a curva da Selic:



Fora o pico de inflação do fim de 2002, parece não haver relação entre os dois gráficos anteriores. O que se nota é uma variação do IPCA mensal com a sua média aparentemente constante. Nesses casos, para se detectar pequenas variações de média, usam-se alguns truques estatísticos a partir de propriedades dela (a média).

Médias de amostras variam menos que os valores individuais. Se acompanharmos, portanto, a inflação média dos últimos meses teríamos uma curva suavizada por essa propriedade. O que se faz na prática é acompanhar o valor acumulado de 12 meses do IPCA. Trata-se de uma soma, mas seria uma média se dividirmos por 12. Chamamos esse truque de média móvel.

Observe agora as curvas da Selic e do IPCA acumulado 12 meses e note a forte relação:



Que conclusão podemos tirar disso? O Copom ajusta a taxa Selic olhando pra traz (em função do comportamento passado da inflação)? Ou a inflação sofre (no futuro) o impacto das mudanças da taxa Selic? Eu escolho a hipótese do meio.

Para mim o corte de 0,25 p.p. foi um "grande pouquinho" pois a inflação está estabilizada em 5,2% ao ano e, pela relação que vimos entre as curvas, era hora do Copom aumentar a Selic. Não era?

Até
Roberto

Eleições 10 x 0 Pesquisas

É, de novo a mesma estória. De novo tivemos a ladainha de reclamações das pesquisas após as eleições. Veja título de matéria da Folha desta semana:



Já fizemos aqui um verdadeiro debate a respeito disso em 2010, veja em "Pau na pesquisa?" e "Pau na Pesquisa, sim!".

Hoje então vou comentar o gráfico comparativo entre os institutos Ibope e Datafolha para a eleição paulistana:



Batendo o olho, a gente se assusta com tamanha diferença entre os dois institutos. É pau no gráfico mesmo, e por distorção. Os eixos das datas nos dois gráficos estão defasados entre si causando uma confusão na hora da comparação.

Se fizermos uma fusão dos gráficos teremos mais confusão ainda, pela grande quantidade de linhas. Como sair dessa? Note que os dados sofrem 2 quebras, por instituto e por candidato. Uma alternativa é fazer o gráfico separando os dados por candidato, e não por instituto como a Folha fez. Veja isso nos três gráficos abaixo:







O que você achou da ideia? Melhorou a visualização?

Bom, sobre os resultados dos institutos: Eleições 10 x 0 Pesquisas

Até
Roberto

Eleições em gráficos

Aqui no Brasil, quem for mais votado ganha a eleição, simples assim. Nos Estados Unidos não, lá aparenta ser uma confusão. Cada estado tem um peso representado pelo número de votos eleitorais. São 538 votos no total, portanto ganha o candidato que somar 270.

A Folha de hoje soltou um gráfico muito bom e simples para vermos a corrida eleitoral na cidade de São Paulo, veja:



Nos EUA, eles geralmente não acompanham desta maneira e já inventaram tudo quanto é tipo de gráfico para representar o processo.

Uma delas que achei super didática é a do NY Times. Parece o logo da Azul (cia aérea) que usa quadrados para representar os estados. Cada um ganha uma cor conforme a propensão de votos e seu tamanho representa a quatidade de votos eleitorais.



Agora, o mais fantástico é a surpresa que temos ao entrar na pagina do gráfico acima, dêem só uma olhada e depois me digam: http://elections.nytimes.com/2012/electoral-map

Até
Roberto

Análise de séries com gráficos de controle

É muito comum encontrarmos comentários sobre aumentos (ou reduções) pontuais nos resultados de indicadores. Hoje na sessão "Mercado Aberto" da Folha temos estes gráficos de tendência ilustrando a notícia "Crédito imobiliário volta a crescer com ritmo saudável":



Note os percentuais de crescimento mostrados nos gráficos: +31% em unidades financiadas e +28% em valores financiados. Você diria que esse é o ritmo de crescimento mensal? Se alguém só lhe informasse que o valor de crescimento é dessa ordem (de 30% num mês), você diria que isso é saudável?

Ainda bem que a Folha trouxe um gráfico de tendência pra gente ter uma ideia da "variação" dos números, só assim a gente tem a percepção do quanto um indicador está crescendo, decrescendo, ou "andando de lado" como fala o texto da matéria.

O gráfico de tendência (com pontos ligados por linhas) é uma poderosa ferramenta para isso. Muito melhor que um gráfico de barras em termos visuais.

Compare com o gráfico original extraído do site: http://www.abecip.org.br/imagens/data_abecip_2012_08.pdf



Mais poderoso ainda é o "gráfico de controle". Trata-se de um gráfico de tendência com referências da "variação comum" dos resultados. Fiz os respectivos gráficos de controle dos indicadores acima com ajuda do software estatístico Minitab, veja o resultado:




Minha conclusão por meio deles é de que o número de financiamentos está ESTÁVEL (variando mas andando de lado) com média de 39 mil unidades mensais. Já os valores financiados têm uma variação acima da média dos resultados de 2010, aumentando cerca de 24% nesses últimos 2 anos (e não 30% num mês!!!!)

Para complementar a análise, fiz o gráfico de controle para a razão desses dois indicadores acima, ou seja, valor/unidade. Vejamos o seu comportamento:



"Aí fomos surpreendidos novamente"...O crescimento do valor unitário é nítido no gráfico e fica em torno dos 30% em 2 anos. Bom, 2 anos é bastante tempo e devemos corrigir o crescimento com a inflação. Decidi usar o INCC/FGV (índice nacional da construção civil) para isso. Veja agora a comparação do valor unitário observado contra o valor unitário de agosto/2010 (início da série) corrigido pelo INCC:



O crescimento "real" foi então 12%. E parece que isso, o descolamento das duas curvas, aconteceu em março de 2011, o que terá ocorrido naquele mês?

Aproveite o embalo e veja mais sobre gráficos de controle e entendimento da variação em: "Tiririca o Filósofo"

Até
Roberto