Minha organização precisa de um plano de resposta a incidentes envolvendo IA?

Já não é novidade dizer que, nos últimos anos, testemunhamos um aumento significativo na adoção de sistemas de inteligência artificial (IA) em diversos setores, incluindo saúde, educação, finanças, transporte, varejo, entre outros. Este crescimento promove eficiência em diversos processos e gera benefícios para organizações e clientes, mas, por vezes, também é acompanhado por desafios e preocupações relacionados à segurança.

Para ilustrar esse cenário, vale ressaltar que pesquisas demonstram que o número de incidentes envolvendo IA teve uma taxa de crescimento de 690% nos últimos seis anos. Inclusive, já existem base de dados dedicadas ao registro de eventos danosos envolvendo sistemas de IA (por exemplo, AI Incident Database). Fato é que incidentes envolvendo sistemas de IA estão se tornando cada vez mais comuns e organizações precisam estar prontas para lidar com estes eventos, que podem afetar clientes, usuários e, até mesmo, gerar impacto generalizado à sociedade.

Um bom caminho para começar a pensar neste tema é compreender as possíveis ameaças a que sistemas de IA estão sujeitos. Para ajudar nessa missão,  National Institute of Standards and Technology – NIST publicou um relatório descreve possíveis  tipos de ameaças a sistemas de IA, como ataques de envenenamento, que possuem o objetivo de corromper os dados de entrada do sistema e, por consequência, fazer com que este apresente resultados incorretos e potencialmente danosos e ataques de evasão, que buscam explorar eventuais vulnerabilidades do sistema, escapando de controles de segurança e monitoramento já adotados.

Quem precisa se preocupar com incidentes? Quem desenvolve ou quem utiliza IA?

É importante ressaltar que este é um assunto de grande relevância tanto para as organizações que desenvolvem sistemas de IA quanto para aquelas que os contratam e os implementam em suas operações. Evidentemente, não existe uma solução única de governança que possa ser aplicada para toda e qualquer organização, de modo que as empresas devem construir suas estratégias de resposta a incidentes envolvendo IA de acordo com o contexto interno de desenvolvimento ou uso de sistemas de IA.

Para organizações que desenvolvem e fornecem sistemas de IA no mercado, desenvolver um plano de resposta a incidentes é essencial para adotar procedimentos claros de monitoramento, detecção e contenção de incidentes e, quando o caso, avaliação sobre a necessidade de comunicação a usuários e autoridades.

Vale lembrar que, no Brasil, o Código de Defesa do Consumidor já prevê que o fornecedor de produtos e serviços que, posteriormente à sua introdução no mercado de consumo, tiver conhecimento da periculosidade que apresentem, deverá comunicar o fato imediatamente às autoridades competentes e aos consumidores. Este procedimento, denominado “recall”, certamente poderá ser facilitado com a implementação de um plano de resposta a incidentes.

Por outro lado, para organizações que contratam e empregam sistemas de IA fornecidos por terceiros, o plano de resposta a incidentes pode ser essencial para a rápida identificação de erros, anomalias e quaisquer suspeitas de irregularidades e imediata comunicação ao fornecedor para que este tome as eventuais providências cabíveis para correção e restauração do funcionamento do sistema.

Para além disso, é interessante desenvolver regras internas para lidar com a desativação ou eliminação gradual de uso de um sistema de IA, por exemplo, em caso de desempenho insatisfatório ou risco elevado. Em geral, a desativação de um sistema de IA exigirá uma análise abrangente para balanceamento de impactos ao público afetado pelo uso do sistema, identificação de eventuais atividades ou outros sistemas que dependam do sistema de IA a ser desativado ou eliminado e garantia da continuidade das operações da empresa.

É uma obrigação?

No âmbito da União Europeia, a regulação sobre inteligência artificial recentemente aprovada pelo Parlamento Europeu (Artificial Intelligence Act – “AI Act”) já prevê que fornecedores de sistemas de IA de risco elevado possuem obrigação de comunicar autoridades em caso de incidentes graves. No Brasil, também é importante ter atenção ao tema, pois a atual redação do Projeto de Lei nº 2.338/2023, que busca regulamentar o uso de IA no Brasil, também prevê a necessidade de comunicação de incidentes que possam gerar risco à vida e integridade física de pessoas, interrupção de funcionamento de operações críticas de infraestrutura, graves danos à propriedade ou ao meio ambiente, bem como graves violações aos direitos fundamentais.

Portanto, estabelecer um processo estruturado para monitorar e identificar erros, anomalias e atividades suspeitas nos sistemas de IA, bem como definir os papéis e responsabilidades de cada membro da organização são medidas importantes para a estruturação de uma governança em IA. Um plano de resposta a incidentes não só contribui para o gerenciamento de riscos associados a sistemas de IA, mas também auxilia na construção de confiança junto a stakeholders relevantes.