Riesgos clave de la IA en el contexto de estándares y seguridad del NIST

Probablemente te hayas preguntado así como yo también lo hice en su momento, ¿Qué es el NIST?. Te comprendo porque yo tampoco tenía conocimiento de este instituto hasta que tomé un curso de desarrollo seguro donde tuve la oportunidad de conocer estadísticas y recomendaciones que tienen publicado en su sitio web además de ciertas estadísticas muy interesantes.

El 26 de julio de 2024, el NIST publicó el documento NIST-AI-600-1, Artificial Intelligence Risk Management Framework: Perfil de Inteligencia Artificial Generativa. Desarrollado en parte para cumplir una Orden Ejecutiva del 30 de octubre de 2023, el perfil puede ayudar a las organizaciones a identificar los riesgos únicos que plantea la IA generativa y propone acciones para la gestión de riesgos de la IA generativa que mejor se alineen con sus objetivos y prioridades.

Respecto del documento

El documento “Artificial Intelligence Risk Management Framework: Generative Artificial Intelligence Profile” (NIST AI 600-1) establece un marco de gestión de riesgos específicamente para la inteligencia artificial generativa (GAI). Desarrollado por el Instituto Nacional de Estándares y Tecnología (NIST) de EE. UU., y complementa el Marco de Gestión de Riesgos de IA (AI RMF) lanzado en enero de 2023. Su propósito es ayudar a las organizaciones a gestionar los riesgos asociados con el uso de la IA generativa, cumpliendo con la orden ejecutiva del presidente Biden que impulsa el desarrollo de una IA segura y confiable.

Parte de su contenido es el siguiente:

• 2.2. Confabulación
• 2.3. Contenido peligroso, violento u odioso
• 2.4. Protección de datos
• 2.5. Impacto medioambiental
• 2.6. Sesgos perjudiciales y homogeneización
• 2.7. Configuración persona-IS
• 2.8. Integridad de la información
• 2.9. Seguridad de la información
• 2.10. Propiedad intelectual
• 2.11. Contenido obsceno, degradante y/o abusivo
• 2.12. Cadena de valor e integración de componentes

De estos puntos, me interesaron los siguientes: 2.4. Protección de datos y 2.6. Sesgos perjudiciales y homogeneización, ya que son temas que los vengo estudiando en las formaciones que estoy tomando.

El desarrollo completo de todo el contenido lo encontrarás publicado en mi blog, pero te dejo aquí una de las reflexiones:

Hay un párrafo en particular, entre otros, que me hizo pensar mucho y más considerando que he tomado cursos de desarrollo seguro: “Los desarrolladores deben priorizar la protección de datos sensibles mediante técnicas como la anonimización…”, ¿Cómo nos estamos preparando los testers ágiles para efectuar el correspondiente proceso de control de calidad en esta área de conocimiento? ¿Te estás preparando para ello? ¿Estás estudiando y explorando nuevas áreas y nuevas herramientas? ¿Estás haciendo el ejericio de ir comparando tu actividad actual y la manera en que la misma puede ser impulsada y/o reemplazada por la inteligencia artificial?

Gracias por seguirme.