Del dataset a la desigualdad: Cómo los datos alimentan el colonialismo digital

El sesgo en la IA comienza desde la recopilación y curaduría de los datos utilizados para entrenar los modelos de aprendizaje automático. Estos conjuntos de datos (datasets) pueden reflejar sesgos históricos, sociales y culturales presentes en las fuentes de datos originales.

Tal vez no te hayas dado cuenta del todo, pero la inteligencia artificial (IA) ya permea casi todos los aspectos de nuestras vidas y esta tendencia no parará hasta ser omnipresente. Por ello es crucial examinar cómo la curaduría de la información con la que se las entrena, que conlleva una carga inherente de sesgos, podría perpetuar formas modernas de colonialismo cultural y afectar la historia y acervo de algunos pueblos.

Cuando hablamos de sesgo en la IA nos referimos a algo muy parecido al sesgo cognitivo o cultural inherente a los seres humanos, es decir, son las inclinaciones y prejuicios que pueden surgir en los sistemas de aprendizaje automático debido a la forma en que se recopilan y procesan los datos de entrenamiento. Los sesgos pueden reflejar y amplificar los sesgos y desigualdades presentes en la sociedad, marginando aún más a ciertas comunidades y culturas o incluso creando narrativas falsas. La IA de Google, Gemini Plus, ya dio muestra de ello cuando se resistía a crear imágenes de personas blancas, haciendo que vikingos, presidentes estadounidenses y hasta papas no correspondan con su apariencia original.

Esto pasa porque durante el entrenamiento de Gemini, con la intención de que su IA no caiga en prejuicios, terminaron en el otro extremo, lo que nos demuestra que las IA pueden tener "sistemas de valores" y que un descuido en su entrenamiento termina siendo catastrófico.

Se me viene a la mente el concepto de "colonialismo digital", que se refiere a la forma en que las narrativas y perspectivas dominantes en el mundo digital pueden suplantar y suprimir las voces y expresiones culturales de comunidades minoritarias o históricamente marginadas y que, en el contexto del mundo digital, hay que aumentarle tecnológicamente retrasadas. A medida que la IA se vuelve más omnipresente, existe un riesgo cada vez mayor de que estas tecnologías se conviertan en herramientas de homogeneización cultural, perpetuando la hegemonía de ciertos grupos y borrado las ricas tradiciones y expresiones de otros.

El sesgo en la IA comienza desde la recopilación y curaduría de los datos utilizados para entrenar los modelos de aprendizaje automático. Estos conjuntos de datos (datasets) pueden reflejar sesgos históricos, sociales y culturales presentes en las fuentes de datos originales. Por ejemplo, si los datos de entrenamiento provienen principalmente de fuentes occidentales, los modelos de IA pueden tener dificultades para reconocer y comprender expresiones culturales no occidentales.

Además, las decisiones sobre qué datos incluir o excluir en los conjuntos de entrenamiento pueden estar influenciadas por los sesgos inconscientes de los curadores de datos, lo que puede llevar a la sobrerrepresentación de ciertas culturas y perspectivas, mientras que otras quedan marginadas o invisibilizadas.

Un ejemplo concreto de este sesgo se puede ver en los sistemas de reconocimiento facial, donde los modelos entrenados principalmente con datos de personas de tez clara han demostrado tener una menor precisión al reconocer rostros de personas de color.

Como podemos apreciar, el impacto del sesgo en la IA facilita de alguna manera el colonialismo digital. El sesgo en la IA puede tener un impacto profundo en la representación y percepción de diferentes culturas y comunidades. Cuando los sistemas de IA reflejan sesgos culturales, pueden perpetuar estereotipos dañinos y distorsionar la comprensión de la diversidad cultural. Además, el dominio de narrativas culturales dominantes en los sistemas de IA puede contribuir a marginar aún más a las comunidades con pocas oportunidades económicas y tecnológicas, erosionando su capacidad para preservar y transmitir sus tradiciones y expresiones culturales en un futuro donde lo que diga/sepa o, por el contrario, omita o ignore la IA, será la base de lo que constituya la realidad y la historia para la humanidad.

Este impacto no se limita solo a cuestiones de representación, sino que también puede tener consecuencias tangibles en áreas como la educación, el empleo y el acceso a servicios, donde los sesgos en los sistemas de IA pueden perpetuar desigualdades y exacerbar las brechas existentes.

Con seguridad que abordar el sesgo en la IA y pretender además combatir el colonialismo digital no es una tarea sencilla, ni para cualquiera, pero preocupa que este tema no esté siendo tomado en cuenta con la prioridad necesaria, sobre todo en países sin oportunidades tecnológicas. Sin lugar a duda, implica desafíos éticos y técnicos complejos, como la necesidad de recopilar datos más diversos y representativos, involucrar comunidades y equipos multidisciplinarios, desarrollar algoritmos más inclusivos y transparentes, y fomentar una mayor diversidad en los equipos de desarrollo de IA.

Aquí es donde surgen oportunidades para construir sistemas de IA más justos y equitativos, pero debemos preguntarnos si existe la voluntad de involucrar a comunidades históricamente marginadas en el proceso de recopilación y curaduría de datos, si podemos garantizar que sus perspectivas y expresiones culturales se reflejen adecuadamente en los modelos de IA del presente y del futuro.

Además, el desarrollo de metodologías de auditoría de sesgos y la implementación de mecanismos de transparencia y rendición de cuentas podrían ayudar a mitigar los sesgos en las etapas tempranas del ciclo de vida de los sistemas de IA. Pero para que esto sea efectivo, las compañías deberían acceder a someterse a un nivel de supervisión exhaustivo y permanente.

Sería importante que los desarrolladores de IA deben trabajar en estrecha colaboración con comunidades locales y expertos culturales para garantizar una recopilación y curaduría de datos culturalmente sensible, pero es algo que debería surgir de los gobiernos los países interesados. Las compañías tienen sus propias agendas y prioridades y hasta ahora, ni compañías ni políticos han dado señales de estar al tanto de este desafío.

El sesgo en la IA y el colonialismo digital son desafíos complejos que amenazan la preservación y difusión de la diversidad cultural en la era digital. Debemos reconocer que el desarrollo de la IA no es un proceso neutral, sino que está imbuido de valores, perspectivas culturales e intereses empresariales y geopolíticos. Por lo tanto, es o debería ser nuestra responsabilidad colectiva asegurarnos de que estos valores y perspectivas sean lo más inclusivos y diversos posible, para que no se diluyan hasta desaparecer en el tiempo.

Hay que hacer lo posible para que aprovechar el verdadero potencial de estas tecnologías no implique sacrificar la riqueza y la belleza de nuestro patrimonio cultural.