Limitações da Avaliação da Performance de Cartas de Controle

Introdução

O uso de modelos de probabilidade na análise do desempenho de cartas de controle 3 sigma é considerado útil quando precisamos embasar teoricamente algumas conclusões sobre a adequação destes gráficos às situações práticas que encontramos. É importante fazermos isto completamente conscientes das limitações que tais aproximações trazem, já que nenhum conjunto de dados real é descrito exatamente por um modelo de probabilidade.

Pequeno Glossário para este Artigo

n = número de elementos existentes em cada subgrupo racional na amostragem para a carta de médias e desvios-padrão.

m = número de subgrupos usados para o estabelecimento dos limites de controle de um processo em controle estatístico ou estável.

xibarra = valor da média do i-ésimo subgrupo. 

xjbarra = valor da média do j-ésimo subgrupo.

O Desempenho das Cartas de Controle

Tradicionalmente temos utilizado o chamado Average Run Lenght – ARL (Comprimento Médio da Sequência) como a estatística que nos permite avaliar a performance de uma carta 3 sigma quanto à sinalização de alarmes falsos. Uma carta de controle que indique mais alarmes falsos do que o esperado, certamente, não é desejável. Estamos chamando de falso positivo ou alarme falso ao evento em que uma observação do processo (para uma carta de valores individuais e amplitudes móveis, com n = 1) ou a média da amostra ou subgrupo (para uma carta de médias e desvios-padrão, com n maior ou igual a 2) cai além dos limites de controle, quando o processo é estável.

Para um processo cujos parâmetros média e desvio-padrão sejam conhecidos, o número de amostras esperado para que um ponto caia fora dos limites de controle pode ser obtido por meio do inverso da probabilidade de um único ponto cair além dos limites de controle quando cada ponto é plotado individualmente. Este valor esperado é chamado ARL. Esperamos que o ARL seja razoavelmente grande, quando um processo está estável ou em controle estatístico. Queremos que falsos positivos raramente aconteçam. 

Fig. 1. Nesta figura mostramos o run length para um processo suposto em controle estatístico. Note que a sinalização de uma causa especial de variação (neste caso, um falso positivo) ocorreu na observação de número 135.

O ARL para um Processo Estável

A distribuição Geométrica surge quando tratamos da probabilidade de um único evento ocorrer na n-ésima tentativa. Para que o primeiro sucesso, com probabilidade p, ocorra na n-ésima tentativa, as primeiras n - 1 tentativas deverão resultar em falha. A probabilidade disto ocorrer é (1 – p)^(n – 1).

Consequentemente,

P(n) = p[(1 – p)^(n – 1)]

descreve a função de probabilidade da distribuição Geométrica, abaixo simulada para p = 0,0027. 

Fig. 2 – Distribuição Geométrica com média (1/0,0027) = 370,4

Aqui, n indica o número de tentativas que ocorrem antes que o primeiro sucesso ocorra. A variável aleatória n é distribuída de acordo com a distribuição Geométrica, com média igual a 1/p e variância igual a (1 – p)/(p^2). Quanto menor p, maior a média da distribuição, ou seja, maior o comprimento médio da sequência ou ARL. Para o caso de um processo estável, o valor do ARL é igual a 370, ou seja, esperamos uma falso positivo a cada 370 observações.

Usamos o valor de p igual a 0,0027 e o faremos daqui por diante porque estamos aproximando o comportamento dos pontos observados e plotados da distribuição Normal. Neste caso, a probabilidade de um valor da variável estar a mais de 3 sigma da média (para cima ou para baixo) é 0,0027. Para uma carta de médias, isto deverá ocorrer naturalmente, já que a distribuição das médias das amostras aproxima-se da Normal. Para uma carta de valores individuais, teremos que trabalhar com a premissa de que os dados do processo se aproximam da Normal.

Uma característica interessante da distribuição Geométrica é a sua “falta de memória”. O estado em que o sistema está não influencia na probabilidade do evento a partir daquele ponto. Ou seja, esperamos um valor de 370 para o ARL a cada ponto observado, independentemente do que aconteceu antes.

Simulação de Run Lengths para 110 Distribuições Normais no Caso de Processos Estáveis

A aproximação do comportamento dos comprimentos de sequência (run lengths) pode ser realizada de modo não analítico e, para tal, realizei a simulação de 110 distribuições Normais, com 10.000 observações cada, chegando à distribuição abaixo para os run lengths obtidos em cada uma. A média (average run length) obtida foi 373,6 e o desvio-padrão foi 336,5 (bastante alto, como prevíramos).  

Fig. 3 – Distribuição obtida ao simularmos os run lengths para 110 distribuições Normais em cartas de valores individuais.

Observações Iniciais sobre o ARL

Podemos ver, no gráfico da figura 1, que a distribuição Geométrica é uma distribuição assimétrica e, confirmamos, por meio da expressão para o desvio-padrão, que o valor deste para p = 0,0027 é 369,9. Ou seja, praticamente igual à média. Na realidade, a grandeza do desvio-padrão para a distribuição Geométrica coloca o ARL em cheque como uma boa medida da performance de uma carta de controle. Note que o ARL é um valor esperado, mas o run length pode assumir valores bem diferentes do valor médio. No caso de um processo estável, será importante que uma quantidade excessiva de falsos positivos não ocorra, já que, em muitas oportunidades, as investigações sobre causas raízes pode gerar dispêndio de tempo e recursos.

A Realidade dos Processos – A Estimação de Parâmetros

Em nosso dia a dia, não trabalhamos com parâmetros – média e desvio-padrão, por exemplo – conhecidos. Seus valores são simplesmente estimados por amostragem. Certamente, os valores exatos dos parâmetros permanecerão desconhecidos e todo o trabalho de controle estatístico do processo será realizado baseado em estimativas, sujeitas a erros de amostragem e número inadequado de amostras (em nossa linguagem para as cartas xbarra/s, “subgrupos racionais”).

Vimos que a distribuição Geométrica pauta as probabilidades de ocorrência dos diversos comprimentos de sequência para uma carta 3 sigma. No entanto, ela foi deduzida baseada em premissas como parâmetros conhecidos e observações do processo independentes. Para observações independentes coletadas do processo, o evento “cair além dos limites de controle” equivale às chamadas tentativas Bernoulli, o que nos permite entender o comprimento médio de sequência (ARL) como sendo a média da distribuição Geométrica acima mostrada.

Uma simulação realizada no Minitab, para um processo representado por 500.000 observações (parâmetros média e desvio-padrão conhecidos), mostra a variabilidade das estimativas dos valores dos limites de controle superior e inferior para n=5 (tamanho da amostra) e m (número de amostras coletadas) variando de 2 a 30. A configuração (n=5, m=30) tem sido tradicionalmente utilizada ao longo dos anos.

Fig. 4 - Variabilidade das estimativas dos limites de controle inferior (LCL) e superior (UCL) para tamanhos de subgrupo 5 e número de subgrupos coletados variando de 2 a 30. Processo em controle estatístico.

Como esta variabilidade afeta o julgamento da performance do processo por meio do ARL?

Quesenbery (1993) faz excelente trabalho analítico e de simulação para chegar a conclusões significativas.

A distribuição da estimativa de UCL é aproximadamente Normal, pois é uma combinação linear de duas variáveis normalmente distribuídas, a média das médias dos subgrupos e a média dos desvios-padrão dos subgrupos.

A média e o desvio-padrão do estimador de UCL são:

E(estimativa de UCL) = m + 3sigma/[(n)^0,5]

DP(estimativa de UCL) = {sigma/[(mn)^0,5]}[1+9(1 – c4^2)/(c4^2)] 

onde:

c4 = constante de não tendenciosidade tabelada em muitos livros-texto

n = tamanho de amostra dos subgrupos

m = número de subgrupos coletadas para a estimativa dos parâmetros da carta de controle

A probabilidade do evento considerado é a probabilidade de uma observação xibarra (média de um subgrupo) cair além dos limites de controle UCL e LCL:

P(evento) = P(xibarra> estimativa de UCL ou xibarra < estimativa de LCL)

Com a estimação dos limites, no entanto, os eventos (xibarra > estimativa de UCL) e (xjbarra > estimativa de UCL) deixam de ser independentes e passam a apresentar correlação entre si, com valor:

[1 + m(1 + 9(1 – c4^2)/c4^2)^(-1)]^(-1)

Esta expressão de correlação depende de m e n, já que c4 (constante de não tendenciosidade) depende de n. Esta correlação positiva torna os eventos correspondentes à sinalização de causas especiais de variação não independentes, influenciando na distribuição dos run lengths, que deixa de ser Geométrica.

O efeito mais importante e imediato desta correlação é que o valor teórico para o ARL baseado na distribuição Geométrica deixa de ser uma boa estimativa, sendo bastante influenciado pelo número de subgrupos m utilizado para a definição dos limites de controle, mantendo-se n = 5 constante.

Após um extenso trabalho de simulação, Quesenberry (1993) apresenta os resultados para diversos valores de m, com n = 5 e processo em controle estatístico. 

Fig. 5. ARL e Desvio-Padrão do RL para cartas 3 sigma com limites de controle estimados baseados em m amostras de tamanho n=5  

Observamos que um dos grandes efeitos de trabalharmos com um número pequeno de observações é o aumento do ARL, sendo que o valor teórico que havíamos calculado é alcançado para um número infinito de amostras, o que é impraticável. O gráfico abaixo mostra um impacto ainda maior na variabilidade do run length, e temos um ganho ainda maior na redução do desvio-padrão quando aumentamos o número m de observações.

Estamos trabalhando com observações que apresentam dependência, e uma distribuição Geométrica teórica não é mais aplicável. Mas a distribuição permanece com o formato assimétrico, limitada pelo número 1 à esquerda e, para um mesmo ARL, o efeito total disto é que a taxa do número de RL pequenos para o número de RL grandes é alta. A carta de controle para médias passará a sinalizar falsos positivos com maior frequência.    

Fig. 6. Comportamento do valor esperado e do desvio-padrão do run length quando variamos o número de subgrupos para a definição de limites de controle para uma carta de médias. Processo em controle.

Para Cartas de Valores Individuais

Estudo semelhante foi realizado para a carta de valores individuais e, para a premissa de processo estável, foram obtidos os seguintes valores:

Fig. 7. ARL e Desvio-Padrão do RL para cartas 3 sigma com limites de controle estimados baseados em N observações.

Sugerir, a partir da tabela acima, números de observações iguais ou superiores a 300, parece ir contra a praticidade que queremos de uma carta de controle em uma análise e melhoria de processo. Mas, ao usarmos N = 30, por exemplo, estaremos sujeitos à existência de ARLs não previstos na teoria.

Considerações Finais

As cartas de controle 3 sigma são uma poderosa técnica para análise e melhoria de processos cuja criação data de quase 100 anos atrás. Elas têm se mostrado muito efetivas na separação de causas especiais das causas comuns de variação do processo, certamente dentro de uma taxa de incerteza inerente a qualquer técnica estatística.

Ao usarmos conceitos probabilísticos para analisar o seu desempenho, devemos procurar nos cercar de cuidados que evitem a transformação da carta Shewhart em uma técnica completamente suportada por conceitos teóricos que envolvam distribuições de probabilidades. Ou seja, devemos tentar adaptá-las à realidade do nosso dia a dia, com uma pequena perda teoricamente estimada.

Um procedimento que podemos sugerir, neste caso, seria o uso de limites de tentativa, com as amostras que possuímos ou podemos coletar, e a revisão destes limites à medida que novos dados do processo estejam se tornando disponíveis.

Uma simulação com o mesmo processo (500.000 observações) que usamos no início do texto, desta vez para cartas de valores individuais, resulta, para N até 400, em: 

Fig 8. Limites de controle em uma carta de individuais obtidos para diversos tamanhos de amostra em comparação com os limites do processo.

Notamos que há uma estabilização dos valores quando chegamos a N=50, mas isto é uma característica deste processo. A quase aleatoriedade presente em nossos processos, quando estáveis, gerariam outros comportamentos, próximos a este, para outros processos.

Referências

Quesenberry, C. P. (1993). “The Effect of Sample Size on Estimated Limits for Xbar and X Control Charts”. Journal of Quality Technology.

Ryan, T. P. (2011). Statistical Methods for Quality Improvement. John Wiley & Sons, Inc.