Es muy interesante comparar las principales técnicas de comparaciones múltiples (LSD de Fisher, BSD de Bonferroni, HSD de Tukey, Duncan, Newman-Keuls y Scheffé). Todas ellas funcionan, como puede verse, buscando un umbral, fijo o móvil, a partir del cual establecer si hay diferencia significativa o no entre todas las posibles comparaciones múltiples. Para hacer una comparación veamos el umbral de cada una de ellas (Ver también el Herbario de técnicas para ver con más detalle de donde sale cada uno de estos umbrales):
Veamos la aplicación de estas distintas técnicas a unos mismos datos. Se trata de una caso de un ANOVA de un factor a tres niveles fijos con los siguientes datos y con la siguiente tabla ANOVA:
Este ANOVA ha resultado significativo. El p-valor es 0.0001. Por lo tanto, sabemos que no son iguales los tres niveles, porque rechazamos la Hipótesis nula de igualdad de medias entre los tres niveles. Sabemos, pues, que no son iguales, pero lo que no sabemos todavía es cuáles son las diferencias. En nuestro caso no sabemos si son los tres niveles distintos o si son dos iguales y uno tercero es el que es diferente.
Para responder a esta duda es para lo que disponemos de estas técnicas de comparaciones múltiples que estamos ahora comparando. Voy a aplicar, a continuación, a los mismos datos, los diferentes métodos de comparaciones múltiples que estamos viendo:
Podemos ver que no todos dan lo mismo. Podemos ver que el Test de Bonferroni, el de Tukey y el de Scheffé son más conservadores, les cuesta más ver diferencias.
Cuando las cosas son claras todas las comparaciones múltiples dan el mismo perfil. Cuando las cosas son dudosas es cuando observaremos diferencias entre los perfiles aportados por uno u otro método de comparaciones múltiples. Cada uno tiene su particular exigencia a la hora de establecer una diferencia significativa entre dos medias. Pero, repito, si las cosas son muy claras todos acaban dibujando el mismo perfil.
LA MATEMÁTICA Y LA ESTADÍSTICA: UNA ORQUESTA HECHA INSTRUMENTO 
Hola! Y, ante todo muchas gracias por este blog, me ha sido de gran ayuda.
Soy estudiante de doctorado, en el área de biomedicina, e intentando analizar unos datos me han surgido unas dudas…
-¿Cual sería el técnica de comparaciones múltiples más adecuada para analizar datos cuyas desviaciones estándar sean muy diferentes?
El programa que estoy utilizando me lanza una advertencia al respecto: «existe una diferencia estadísticamente significativa entre las desviaciones estándar, con un nivel del 95,0% de confianza. Esto viola uno de los supuestos importantes subyacentes en el análisis de varianza e invalidará la mayoría de las pruebas estadísticas comunes».
He probado con LSD de Fischer y con Bonferoni pero los resultados son muy diferentes ¿De cual me debo fiar? ¿Del de Bonferoni al ser más «conservador»?
Muchísimas gracias de antemano.
Saludos
JM
Te recomiendo que pruebes una transformación de los datos. Por ejemplo, prueba hacer el logaritmo. La posición relativa de los valores no cambiará y posiblemente consigas que se ajusten los datos a las condiciones para hacer un ANOVA del que puedas fiarte de las significaciones que te proporcione.
Entonces va en el criterio de uno como investigador qué tipo de test utilizar… estoy analizando datos de mi tesis y a pesar de qué en mis gráficos puedo observar diferencias maomenos claras, el test de tukey no las muestra sin embargo Fisher sí. Y es bastante tentador decir que sí las hay. Mi punto es que sí hay un test estadístico que demuestra que hay diferencias (Fisher en mi caso), qué tan buenos es este test??
Cualquiera de los test de comparaciones múltiples está muy bien. Si en uno da significativo y en otro no quiere decir que estás en la frontera. Cuando las cosas son claras todos dan el mismo resultado. Sucede lo mismo como con los análisis de sangre. Hay diferentes técnicas para medir la hemoglobina, según el laboratorio. Cuando hay una anemia clara todos los laboratorios dan anemia. Cuando está la cosa en la frontera puede que un laboratorio dé anemia y otro no. Esto es lo que te sucede a ti.
Por otro lado, muy bien el blog ;).
Llegue aquí por una tarea, después de revisar todos los temas no me cabe duda que hace un excelente trabajo.aun estoy en un nivel de iniciación y algunas variables cambian de letra (supongo por el país) pero fuera de ello no hay ningún problema, muy buen blog.
Hola Juame. Muy interesante el Blog. Tengo una duda. Estamos comparando dos tratamientos distintos para Bioremediacion de suelos. Sospechamos que el tratamiento A es mejor que el B. Para demostrarlo que conviene usar? primero ANOVA (y si da diferencia significativa) usar Tukey. o Usar Tukey solamente, ya que si da diferencia significativa, no tendría sentido usar ANOVA (el Tukey es mas exigente para hallar diferencias que el ANOVA) a demás, Tukey me indica cual tratamiento es mejor, cosa que ANOVA no indica. Saludos.
Se hace ANOVA primero y luego Tukey como un formalismo. Si es tan evidente que los grupos no son iguales puedes pasar directamente al Tukey pero en el informe debes dar los datos del ANOVA previo. Por protocolo. Un saludo.
Hola, muy buen blog!
Tengo un problema que me gustaría resolver.
Tengo dos grupos grandes con 3 subgrupos cada uno y cada subgrupo con 30 mediciones temporales. Necesito saber si los dos grupos son diferentes entre sí. Hay que considerar que dentro de los subgrupos también hay variabilidad, qué prueba me recomienda?
Saludos!
Por lo que me dices, parece que necesitas aplicar un anova multivariante