Dame contexto si quieres que confíe en "evidencia" de diferencias entre grupos
Esta noticia apareció en mi feed un par de semanas atrás:
Varias personas en mi red compartieron o likearon el artículo. Justo durante esas semanas estuve pegado con la siguiente pregunta: Cuando leemos los resultados de comparaciones del desempeño de distintos grupos, ¿cuánta confianza le ponemos a la evidencia?
Por ejemplo, si leemos que la capacidad de aprendizaje de la gente varía dependiendo del grupo socioeconómico al que uno pertenece, ¿cuánta confianza le ponemos a ese resultado?
Para ser trasparente, tengo que admitir que les pregunté a los autores si tenían una fuente que me diera mas información. Me encantaría poder interpretar sus resultados y sacar mis propias conclusiones.
Todavía estoy esperando una respuesta ...
Como no tengo más información, no puedo saber cuánta confianza ponerle a la conclusión de este estudio. Pero este estudio no tiene mucho impacto en mi trabajo cotidiano, así que no me quita el sueño. Sin embargo, ¿qué pasa cuando leo resultados de estudios que sí impactan en mi trabajo? ¿Cómo evalúo el nivel de confianza que le doy a la evidencia?
Últimamente, me hago dos preguntas:
- ¿Cuánta información me dan los autores sobre el desarrollo del instrumento de evaluación o medición?
- ¿Cuánta información me dan los autores sobre cuán comparables son los resultados entre los grupos de interés?
Responder estas preguntas me da contexto para interpretar los resultados. Por ejemplo, es fácil asumir que una prueba de matemáticas mide las mismas competencias en hombres y en mujeres. Otra cosa es demostrar que miden lo mismo. Y aún más difícil es demostrar las condiciones que permiten comparar los puntajes de hombres y mujeres. Si uno no tiene información sobre cómo se desarrolló la prueba ni de los ajustes necesarios para hacer los puntajes de hombres y mujeres comparables, entonces es difícil confiar en resultados que digan que un grupo es mejor que otro en matemáticas (más info aquí y aquí).
Cuando lees resultados que podrían impactar en tu trabajo, ¿cuáles son las claves que te dan confianza en la evidencia?
Associate Professor @ Universidad Adolfo Ibáñez
6 añosHola Diego, agregaría otra clave de contexto que es el propósito para el que se realiza y se publica la evidencia. En el caso presentado, hay que considerar que KeyClouding es una consultora cuyo negocio es vender servicios de evaluación psicológica para la selección de personal. Así, el propósito "podría" ser utilizar el concepto de evidencia, para validar su negocio. De ser así, desde el punto de vista científico, ciertamente conlleva un conflicto de interés dado por la auto-administración de la supuesta validación científica para propósitos comerciales (un caso típico, por ejemplo, de la industria farmacéutica)...