Justicia algorítmica y la gobernanza de los datos

Resulta revelador que en el vocabulario cotidiano se esté instalando el concepto de algoritmo. No tanto porque muestre la actualidad de estos conjuntos de operaciones orientados a hallar la solución a un problema, sino por el uso concreto que hacemos de la palabra. Tal y como ocurre con otros términos presentes en el debate público como “los mercados”, la opinión pública observa “los algoritmos” con cierta distancia pues no conoce con exactitud ni su magnitud ni su funcionamiento. No es de extrañar puesto que, ya desde sus primeras aplicaciones modernas, los algoritmos han buscado pasar inadvertidos. Pilotos automáticos y sistemas de seguridad en la aviación o el descifrado de las comunicaciones del enemigo en contextos bélicos son ejemplos de ello. Esta vocación discreta sigue plenamente vigente.

Hoy, no obstante, los algoritmos afectan a tantos ámbitos de nuestra vida que no pueden ser ignorados. En el mundo online sabemos que los motores de búsqueda, los feeds en nuestras redes sociales, las noticias que leemos en nuestros dispositivos móviles, las aplicaciones para encontrar pareja o las rutas más rápidas sugeridas por un navegador funcionan a través de algoritmos. Por otro lado, espacios cruciales del mundo offline como la administración de justicia, la vigilancia, la navegación por satélite, los servicios sociales o los sistemas de armamento[1] han incorporado algoritmos en su funcionamiento en varios países.

En todas estas materias los algoritmos funcionan haciendo más sencillas tareas que, de otro modo, requerirían más tiempo y recursos. Para que esto sea posible, delegamos en los algoritmos las decisiones que consideramos necesarias para que se ejecute una tarea; es decir, lejos del simple procesamiento de la información, un algoritmo funciona de forma autónoma, dentro de los parámetros preestablecidos, tomando decisiones en nuestro lugar.

Si una aplicación que reproduce música vía streaming, por ejemplo, quiere sugerirnos canciones que sean de nuestro agrado, el algoritmo específico tomará una serie de decisiones basándose en variables como los géneros que nos gustan, las canciones escuchadas recientemente o las tendencias del momento. ¿Pero qué ocurre cuando la tarea que pretende ejecutar el algoritmo tiene repercusión social[2]? ¿Qué valores deben regir el diseño de los algoritmos si queremos que sean justos?

Estas preguntas coparon los titulares tras el fiasco de los exámenes A-level en Reino Unido. Debido a las medidas sanitarias, los exámenes A-level (Advanced Level) de los que depende el acceso a la universidad del alumnado (equiparables a la selectividad), no se celebraron. En su lugar, el gobierno británico decidió asignar las notas recurriendo a estimaciones realizadas por el profesorado. Teniendo en cuenta la inflación de las notas que provoca este método de evaluación, las autoridades recurrieron a un algoritmo que matizase las calificaciones recurriendo a investigaciones previas. Cuando se publicaron las notas cerca de un 40% del alumnado comprobó que su evaluación era notablemente inferior a las previsiones. Además, el algoritmo perjudicó especialmente a quienes estudiaban en centros donde las notas habían sido más bajas en años anteriores independientemente del desempeño del alumnado a título individual y, por ejemplo, benefició a los centros con menos estudiantes, en detrimento de la educación pública. El estudiantado protestó los resultados en las calles, se descartó el sistema de evaluación y el premier Boris Johnson pidió perdón llegando a calificar el polémico mecanismo como “algoritmo mutante”.

Aunque pensemos que se trata de simples errores de diseño, la discriminación que pueden producir estas tecnologías está íntimamente ligada a los principios que rigen su uso. Encontramos numerosos casos que dan cuenta de los sesgos de los algoritmos, así como de los efectos lesivos de una pobre gobernanza de estos. En Estados Unidos, la iniciativa Our Data Bodies recoge experiencias de personas en riesgo de exclusión que se han visto especialmente afectadas por el uso de los datos por parte de departamentos de recursos humanos de empresas o de administraciones públicas. Se ha observado[3] que algoritmos utilizados para la contratación de personal o para elegir quién accede a prestaciones sociales incluyen datos sobre antecedentes delictivos menores o problemas de crédito del pasado —llegado a acumular historiales de 30 años de antigüedad—. Criterios de eficiencia de las organizaciones son priorizados frente a las consecuencias sociales que tienen este tipo de algoritmos. Así, las nuevas tecnologías contribuyen a perpetuar la espiral de desigualdad en la que se ven envueltos ciertos colectivos.

¿Cómo gestionamos esta potencial fuente de desigualdades? Los desarrollos en aprendizaje autónomo auguran un futuro en el que los algoritmos cumplirán más funciones y, con ellas, los poderes públicos requerirán de nuevas regulaciones. Especialistas en la materia indican algunas recomendaciones para resolver estos problemas. Por un lado, sería recomendable romper con la impenetrabilidad del algoritmo para entender las decisiones que se están tomando en la “caja negra”. Por eso, además de la transparencia y la rendición de cuentas, las administraciones deberían exigir que la “explicabilidad” sea un valor central en su política al respecto. Por otro lado, una gobernanza adecuada de los algoritmos será el resultado de una colaboración previa entre organizaciones dedicadas a la ciencia de datos, administraciones públicas, sociedad civil y agentes expertos en materias más cercanas a las humanidades o las ciencias sociales como la ética digital. Un reciente informe del Ada Lovelace Institute exhorta a los gobiernos a auditar de forma automática y sistematizada los algoritmos que nos rodean —a ser posible con la colaboración de las empresas desarrolladoras de estas tecnologías— contando, precisamente, con personas expertas en distintas disciplinas.

Por último, tal y como sugiere este mismo informe, debemos ver las oportunidades que ofrece esta nueva fuente de incertidumbre. Existen incentivos para llevar a distintas esferas el conocimiento creciente tanto en el desarrollo de algoritmos como en la resolución de sus sesgos. Aspirar a la justicia algorítmica pasa por favorecer que estos saberes formen parte de la implementación de políticas públicas, el desarrollo de las futuras industrias o la propia capacitación de la sociedad civil.

[1] Los distópicos sistemas de armamento completamente autónomos (“human-out-of-the-loop”) son contrarios al derecho internacional humanitario según Human Rights Watch. No obstante, sí existen sistemas de armamento operados por algoritmos que únicamente requieren de la autorización de un humano para funcionar (“human-in-the-loop”).

[2] Debemos mencionar, no obstante, la uniformización de los contenidos que promueven estas plataformas y que afecta, entre otras cuestiones, a la supervivencia de lenguas minorizadas como el euskera, con las profundas implicaciones políticas que esto conlleva.

[3] Petty, T.; Saba, M.; Lewis, T.; Peña Gangadharan, S. & Eubanks, V. (2018). Reclaiming our data. Our Data Bodies. www.odbproject.org/tools/