The Foundation Model Transparency Index: Essencial para a Confiança e a Ética no Uso da IA Generativa

O Foundation Model Transparency Index (FMTI) surge como uma ferramenta crucial para promover a transparência no desenvolvimento e uso de modelos de Inteligência Artificial (IA) Generativa, oferecendo um parâmetro para avaliar a divulgação de práticas adotadas pelas principais empresas do setor. Desenvolvido por pesquisadores da Stanford Center of Research on Foundation Models (CRFM), o FMTI avalia aspectos como dados, recursos computacionais, e políticas de uso de IA Generativa incentivando práticas transparentes que geram maior responsabilidade empresarial. Sua relevância é ampliada ao abordar os desafios éticos e de segurança, como o combate a deepfakes. Com informações mais acessíveis sobre os processos de criação e limitações dos modelos, o índice permite que legisladores, acadêmicos e o público em geral tenham uma visão mais completa para questionar e regular o uso de modelos fundacionais, dificultando o uso de IA em práticas enganosas.

O FMTI é uma métrica que avalia a transparência das principais empresas de IA que desenvolvem modelos fundacionais, como GPT-4 da OpenAI e PaLM 2 da Google. Lançado inicialmente em outubro de 2023, o índice utiliza 100 indicadores detalhados, distribuídos em três áreas principais: recursos de construção (dados, mão de obra e recursos computacionais), características e limitações do modelo (incluindo segurança e avaliação de riscos) e uso downstream (políticas de uso, impactos regionais e feedback de usuários).

O objetivo do FMTI é criar um padrão de avaliação que incentive práticas de transparência, promovendo tanto a responsabilidade empresarial quanto a segurança dos usuários finais e pesquisadores. Na primeira edição, o índice destacou a opacidade geral do setor, com as empresas alcançando uma média de 37 pontos de 100. Em maio de 2024, a média aumentou para 58, indicando um progresso lento, mas significativo, especialmente em áreas como documentação de capacidades dos modelos e diretrizes de uso downstream. No entanto, questões críticas, como o tipo de dados utilizados, licenciamento e impacto ético, permanecem amplamente não divulgadas.

O FMTI não busca avaliar responsabilidade social corporativa diretamente; em vez disso, ele se concentra em exigir que as empresas compartilhem informações essenciais para uma análise por parte de reguladores e acadêmicos. Os dados de transparência fornecidos por esse índice têm sido utilizados por formuladores de políticas de IA nos EUA, Europa e outros países para impulsionar normas de governança de IA mais rigorosas.

No FMTI, quanto maior a pontuação, maior é o nível de transparência demonstrado pela empresa em relação aos seus modelos fundacionais.

O gráfico acima do Foundation Model Transparency Index (FMTI) apresenta a evolução da transparência de diversas empresas de IA entre outubro de 2023 e maio de 2024. Os resultados mostram uma melhora significativa em várias empresas, refletindo um esforço geral para aumentar a divulgação de práticas e informações críticas sobre os modelos fundacionais. A BigCode/Hugging Face/ServiceNow, por exemplo, foi a empresa que mais progrediu, passando de uma pontuação de 53 para 85, destacando-se como líder em transparência no setor. Da mesma forma, a AI21 Labs apresentou um avanço impressionante, subindo de 25 para 75 pontos.

Meta e Stability AI também demonstraram aumentos consistentes, com a Meta passando de 54 para 60 pontos e Stability AI de 47 para 58 pontos, indicando uma maior disposição para divulgar informações essenciais sobre seus modelos. Por outro lado, empresas como OpenAI, Google e Amazon tiveram incrementos mais modestos, o que reflete uma resistência ou desafios em adotar práticas de transparência mais amplas.