Operacionalización: el arte y la ciencia de establecer métricas

Psicología esencial para todos los profesionales de los datos

Es hora de abordar un tema de la psicología que es esencial para todos los profesionales de los datos:

¿Cómo se mide la felicidad de los usuarios?

Déjame intentar adivinar lo que estás pensando. ¿Respuestas a encuestas? ¿Falta de quejas? ¿Número de devoluciones? ¿Propensión a hacer clic?

La respuesta correcta es…

Imagen: FUENTE

No lo mides. Si crees que tu encuesta sobre la felicidad puede resolver una interrogante pendiente que los filósofos llevan tratando de resolver desde hace milenios, piénsalo de nuevo, profesor Dunning-Kruger.

¿Y qué tal el éxito? ¿Cómo lo mides? No lo mides.

¿Cómo se mide la ira? No lo mides. (¿Ves el patrón? Sí, te estoy haciendo enfadar a propósito. Canaliza esa rabia para reflexionar sobre las similitudes entre los sustantivos que estoy describiendo).

¿Cómo se mide la solvencia crediticia? No lo mides.

¿Cómo se mide el amor? No lo mides.

¿Cómo se mide cuán buena es una campaña de marketing? ¡No lo mides!

¿Qué es la felicidad?

¿Qué tienen estas cosas en común? Son confusas.

Cuando escuchas la palabra felicidad, algo flota en tu mente. Lo que sea que estés pensando probablemente no es el mismo algo que le viene a la mente a la persona que está a tu lado. Quizás en otros días y en otros estados de ánimo, tampoco estés de acuerdo contigo mismo.

¿Te sientes tentado de argumentar desde el ángulo de la neurociencia? "Espera, podemos mirar en sus cerebros para ver si son felices..." Ya he pasado por eso. Antes de ir a la escuela de posgrado de estadística, era estudiante de doctorado en neurociencia, especializado en el campo de la neuroeconomía (sí, existe tal cosa) y estudiando las señales de utilidad y valor en el cerebro humano. En otras palabras, mi tema de tesis era literalmente éste.

Una prueba de que ut autor tiene cerebro. Imagen: FUENTE.

Tuve la suerte de formar parte de un laboratorio muy bien equipado con:

• Escáneres fMRI. La f  es por la palabra funcional en “Imagen de Resonancia Magnética funcional” (por su traducción del inglés), lo que significa que las imágenes del cerebro no son estáticas, sino un mapa de los cambios en la oxigenación de la sangre -con un retraso de varios segundos- que se utiliza para localizar la actividad cerebral durante los experimentos.
• Equipos de EEG. Es la abreviatura de electroencefalografía, una técnica que utiliza redes de electrodos para registrar la actividad eléctrica en el cuero cabelludo y que complementa el "dónde" de la fMRI con el "cuándo", proporcionando datos temporales mucho más precisos -a nivel de milisegundos- sobre la reacción del cerebro a diversos estímulos.
• Rastreadores oculares. Kits especializados que combinan una ingeniosa cámara con un software más ingenioso para determinar hacia dónde dirigen su mirada los participantes en el estudio, lo que permite a los investigadores trazar un mapa de la atención visual.
• Equipos de EMT. La estimulación magnética transcraneal utiliza potentes electroimanes para inducir la actividad eléctrica en el cerebro y provocar el comportamiento. Sí, el control mental es real (e incluso está aprobado por la FDA como tratamiento para la depresión), pero no te preocupes: es difícil que te sorprendan con una máquina del tamaño de una nevera que no funciona a menos que te quedes muuuuuy quieto.

A pesar de este maravilloso conjunto de herramientas, no pude medir la felicidad del usuario. Por suerte, lo sabía antes de empezar. Al igual que cualquier otro neurocientífico del planeta.

¿Por qué? Durante la primera semana de la escuela de posgrado de neurociencia/psicología, se aseguran de inculcarnos un concepto importante. Con un palo si es necesario. Es hora de que tú también lo aprendas: hola, operacionalización.

 Un cierto “je ne sais quoi” (no sé qué). Imagen: FUENTE.

El arte y la ciencia de establecer métricas

Incluso la palabra operacionalización significa cosas diferentes para cada persona. Cuando digo la palabra, quiero decir:

La operacionalización es la creación de indicadores medibles para investigar rigurosamente conceptos difusos.

Lo digo de la misma manera que Wikipedia: "En el diseño de la investigación, la operacionalización es un proceso de definición de la medida de un fenómeno que no es directamente medible, aunque su existencia está indicada por otros fenómenos. Es el proceso de definir un concepto difuso para que el concepto teórico sea claramente distinguible o medible, y para entenderlo en términos de observaciones empíricas."

La operacionalización es la razón por la que la psicología puede pretender ser una ciencia. Sin ella, no se llegaría a ninguna parte. ¿Cómo se mide algo que ni siquiera se puede definir?

No lo haces.

El pantano de la expresión humana

Algunos sustantivos se definen por la forma en que se miden. El significado fijo forma parte del encanto de la temperatura, la masa, el recuento de calorías, la distancia, el día de la semana, etc. Cuando se trata de medir cosas, los psicólogos dirían que los físicos lo tienen fácil. Francamente, es un trabajo agotador navegar por el pantano del lenguaje humano para rescatar a una ciencia que patalea y grita todo el camino.

Imagen: xkcd.

El problema es que gran parte de la comunicación humana es imprecisa por su propio diseño. La forma más precisa son las matemáticas (un lenguaje para decir muy poco, con mucho cuidado) y, por mucho que te gusten las matemáticas, espero que estés de acuerdo en que son demasiado lentas para la mayor parte de nuestra charla diaria. Es más rápido transmitir las cosas si subimos el dial de la ambigüedad y dejamos que los oyentes interpreten nuestras palabras como quieran.

El lenguaje humano puede ser tan impreciso que tiene errores de redondeo de nivel superior, para sus errores de redondeo.

Cada vez que hablamos en abstracto, decimos demasiado poco (parte del significado deseado se evapora en el camino) y demasiado (con caminos que se bifurcan de interpretación por extrapolación). Irónicamente, estas palabras no significarán exactamente lo mismo al entrar en tu cerebro que al salir del mío.

Dado que no conozco la configuración de sistema nervioso y mente por los que filtras mis palabras, es casi milagroso que pueda hacerme entender siquiera aproximadamente. Y sin embargo, estoy bastante seguro de que la mayoría de ustedes lo "entenderán". Los humanos son criaturas increíbles.

Redondeando la realidad

Aunque nos ayude a transmitir más información por unidad de tiempo, toda esa poesía hace que la transferencia de información sea menos fiable. Eso no es necesariamente malo, sobre todo si le quieres dejar a tu audiencia un poco de espacio para la innovación.

Por desgracia, mientras que el espacio para la interpretación suele ser una característica de las letras de las canciones y las campañas de marketing, es un error en lo que respecta a las pruebas matemáticas y la investigación científica. Cuando el objetivo es transmitir una receta precisa que el público pueda seguir sin meter la pata -como un descubrimiento científico que su colega pueda aprovechar-, la poesía es contraproducente. Por eso la psicología no sería una ciencia sin operacionalización... y también por eso las métricas de negocio pobremente definidas suelen dejarte peor que si no hubieras intentado medirlas desde el principio.

Redondeamos la realidad cuando le ponemos etiquetas.

Uno de los peores lugares para dejar espacio a la interpretación es el Machine Learning. Los humanos estamos acostumbrados a intercambiar confusas tonterías con otros humanos, por lo que nos acostumbramos a la forma tolerante en que nuestro público busca el significado en nuestro nombre, aunque no sepamos lo que estamos tratando de decir. Las máquinas no hacen eso. Hacen exactamente lo que se les dice. Si les dices que optimicen la precisión, harán exactamente eso. No dirán: "Oye, jefe, creo que has dicho precisión cuando en realidad querías decir exactitud..."

El lenguaje es aún más confuso. Imagen: FUENTE

Además, las categorías que creamos en nuestros datos proceden de ese mismo lugar difuso y las etiquetas que ponemos a la realidad revelan mucho sobre nuestros prejuicios. Por desgracia, los sistemas de machine learning los captan y los amplifican si no tenemos cuidado. Para evitar algunos terribles -y terriblemente comunes- errores de ML/AI/datos, es crucial que desarrolles la habilidad de decir lo que quieres decir y entender lo que realmente has dicho.

Es crucial que desarrolles la habilidad de decir lo que quieres decir *y* entender lo que realmente has dicho.

Una página del libro de jugadas de la psicología

La psicología ha tenido más de un siglo para hablar de los peligros de medir lo que no se ha definido correctamente, así que hemos aprendido un par de cosas que los líderes de negocio y los científicos de datos deberían tomar prestadas. Si quieres que escriba algunos de nuestros consejos para la operacionalización, los retweets son el camino más seguro a mi corazón.

El mejor consejo de psicología para la creación de métricas es el siguiente:

Define tu métrica antes de ponerle nombre.

En el fondo, la operacionalización consiste en darle la vuelta a tu pensamiento estándar: en lugar de enamorarte de una palabra y perseguirla porque sí, piensa profundamente en qué cantidad del mundo real quieres medir. Incluso si te has inspirado en una expresión poética, piensa por qué esa palabra te ha interesado. ¿Qué tiene la palabra "felicidad" que parece relevante para tu problema de negocio? ¿Por qué? ¿Con qué comportamiento del mundo real se relaciona? ¿Qué aspecto tiene ese comportamiento? ¿Se parece a un usuario sonriente que pasa el rato alegremente en tu sitio web? Tal vez decidas que sí.

Ahora olvídate de la palabra original. En lugar de felicidad, llámala X. Entonces haz lo que hacen los matemáticos, por ejemplo "Sea X = la propensión del usuario a pasar tiempo en tu sitio web".

Piensa bien en esta cantidad. ¿Es realmente la que quieres medir y en la que basas tus decisiones? Quizá decidas que sí.

Excelente. Ahora puedes ponerle un nombre. La razón por la que le das un nombre es para ahorrar tiempo al escribir y hablar. Tal vez lo llames "X". Quizás lo llames "felicidad" o "blorktibork" o incluso "X Æ A-12".

Aquí viene lo importante. Puedes ponerle el nombre que quieras, siempre que no sea ofensivo (para la etiqueta o el sentido común) y que tú (¡junto con tu público!) recuerdes que el nombre es un marcador de posición para algo muy concreto: la propensión del usuario a pasar tiempo en tu sitio web. No es la "felicidad" platónica de Platón, aunque la hayas llamado así.

 Imagen: FUENTE. En la imagen se lee: “LA INTRODUCCIÓN DE TODOS LOS LIBROS DE CIENCIAS SOCIALES. El continuo desacuerdo sobre la definición de lo que estamos hablando sigue obstaculizando el progreso. En aras de este trabajo, crearé una nueva.”   

Si recuerdas que el nombre es sólo un marcador de posición, será menos probable que hagas algo tonto como:

1. Discutir con compañeros de tecnología (de todos los géneros) sobre si la métrica realmente mide la felicidad. No es así. Esa discusión es tan absurda como si yo podría llamar a mi variable X, si tú ya has llamado a la tuya X. Mientras ambos escribamos lo que queremos decir en la parte superior de nuestras páginas, estamos bien, hermano.
2. Interpretar erróneamente un aumento de la "felicidad" como que significase que algo bueno está sucediendo con tu sitio web. Quizás los usuarios no encuentran lo que buscan y están pasando más tiempo en la página mientras lloran de frustración. Si recuerdas lo que realmente estás midiendo y que su nombre es sólo una abreviatura, estarás mucho más seguro.
3. Asumir que la investigación de otra persona sobre la "felicidad" se aplica a tu propio escenario. Lo más probable es que hayan definido su métrica de forma diferente. Presta atención en una reunión de psicología alguna vez y probablemente oirás una secuencia estructurada de esta forma: "¡Encantado de conocerte! ¿En qué trabajas?" "Memoria". "Genial, yo también. ¿De qué tipo?" "Desarrollo de la memoria de trabajo visoespacial (MTVE) en humanos, ¿tú?" Fíjate en que "memoria" podría significar cualquier cosa, mientras que MTVE es un concepto técnico bien definido (en algún momento alguien quiso estudiarlo y dijo: "Que sea MTVE = _____". Si el otro científico no trabaja en MTVE, sabrá que no debe pensar que la investigación de su nuevo amigo se aplica a su propio trabajo.

Ser cuidadoso con el lenguaje y hacer un balance de nuestra confusión con un pensamiento cuidadoso basado en la operacionalización es útil no sólo para la inferencia estadística, sino también para la recopilación de datos y el aprendizaje automático práctico.

Traducido por Carlos Secada del original por Cassie Kozyrkov