¿Tus modelos realmente mueven la aguja?

En un mundo cada vez más impulsado por los datos, es fácil quedar atrapados en la búsqueda constante de modelos más precisos y sofisticados. La persecución del mejor modelo, una arquitectura creativa o el conjunto de hiperparámetros que nos permite “llegar al óptimo", puede tener precisamente el resultado contrario. En este artículo, exploraremos cómo alinear nuestros esfuerzos en ciencia de datos con los objetivos estratégicos de las organizaciones, y cómo evitar caer en la trampa de la optimización por la optimización

Ahora, si bien es cierto que en ciertos escenarios esa búsqueda del mejor modelo posible puede ser relevante, todo depende de la respuesta a la primera pregunta que nos debemos hacer: ¿Cuál es el problema que estoy resolviendo?, y es que, cómo aprendimos de los procesos de optimización que encontramos todo el tiempo en la labor de la ciencia de datos, todo se centra en definir y optimizar un objetivo. En machine learning lo expresamos con una función que nos permite medirlo y comenzamos a tomar acciones para alcanzarlo. Sea un descenso gradiente, una busca aleatoria en rejillas de hiperparámetros o un algoritmo genético, lo que estamos haciendo es tomar una acción, medir como va nuestro objetivo y decidir si hemos logrado el resultado.

Este método es perfectamente aplicable para resolver nuestro verdadero problema. Y es que en muy contadas ocasiones (personalmente no conozco ninguna) el problema que realmente preocupa a los equipos directivos es que nuestra entropía cruzada no es lo suficientemente baja. Los problemas que realmente afectan a las organizaciones son de la índole de maximizar ingresos, disminuir costos innecesarios, fidelizar clientes, entre muchos otros. Es ahí donde se destaca una de las capacidades más importantes que debe tener un científico de datos: La solución de problemas, lograr identificarlos, comprender las causas y encontrar soluciones efectivas.

En resolver los problemas que realmente impactan debemos aplicar los aprendizajes de la optimización. En lugar de obsesionarnos con métricas como la precisión o el recall, debemos centrarnos en métricas que reflejen directamente el valor que generamos para el negocio. Para ellos, el primer paso es encontrar nuestra función objetivo, es decir, es métrica que nos diga que vamos en la dirección correcta con las acciones que tomamos. Luego, comenzamos a tomar acciones para optimizar dicha función sujetos a nuestras restricciones, es decir, explorar iniciativas con los recursos y tiempo del que disponemos y siempre validando como cambio nuestra métrica objetivo.

Es fundamental entender que esto es lo que son nuestros modelos: acciones que pretenden lograr un resultado que ayude a optimizar un objetivo, y que solo alineados con el logro del objetivo y seguros de que lo permiten nuestras restricciones de tiempo, nos podemos arrojar a modelar persiguiendo scores dignos de un gran maestro de Kaggle. Sin embargo, en aras de lograr las metas, hay que estar siempre dispuestos a buscar soluciones que generen valor de forma temprana con los datos en el análisis descriptivo, la experimentación, los modelos simples, el consumo, modelos de proveedores de nube, entre otras tantas herramientas posibles. Es decir, debemos ser capaces de adaptar nuestras soluciones a las necesidades y restricciones del negocio.

Es en la transversalidad de la solución de problemas y la optimización de procesos a nivel de negocio que la ciencia de datos realmente encuentra el éxito. La función que nos debería emocionar mover se mide en el negocio, no en nuestros jupyter notebooks.