Testamos: IA da Meta, que chega em julho ao Brasil, tem erros sobre Lula e estereótipos de gênero

• Meta: Dona do Facebook e Instagram recebe reclamações em 11 países europeus por uso de dados para IA
• Após limitar notícias em redes: Meta usa conteúdo de jornais em ferramenta de IA

A IA da Meta, como é chamada, é a principal aposta da gigante das redes sociais para competir com o ChatGPT, da OpenAI. O sistema está disponível nos Estados Unidos e algumas dezenas de países. Há duas semanas, em um evento em São Paulo, a empresa anunciou que ele seria liberado gradualmente no Brasil, em português, ao longo do mês que vem. A Meta promete informações em tempo real.

Com o novo recurso, os usuários de Instagram, WhatsApp e Facebook terão acesso a um robô de IA. Uma das principais formas de acessá-lo é pela caixa de busca que existe nas três redes.

O sistema, que é integrado a informações de Bing e Google, fornece, em tese, informações atualizadas. Em testes feitos pelo GLOBO, no entanto, a IA desconsiderou que Lula era o atual presidente do Brasil e afirmou que Jair Bolsonaro foi o mandatário brasileiro entre 2019 e 2023.

As respostas vieram para os pedidos de informação, em português, “Fale sobre o presidente Lula” e “Fale sobre o presidente anterior”.

No primeiro pedido, a IA diz que Lula foi presidente entre 2003 e 2011, sem mencionar o mandato atual. No segundo, afirma que “o presidente anterior ao atual, Jair Bolsonaro, foi Michel Temer”. O robô define Lula como um “dos líderes políticos mais populares e influentes da história brasileira”.

Sobre Temer, afirma que ele implementou “various (usou o termo em inglês para diversas) políticas econômicas”. O robô se corrigiu depois de ser avisado que o presidente atual é Lula e o anterior, Bolsonaro.

• 'Fome' da IA: Inteligência artificial exigirá energia de ‘dois Brasis’ até 2026

Ao fim das respostas, a IA admite que ainda está “aprimorando” comandos para idiomas que não o inglês e pode cometer erros. Mas também houve imprecisões em parte dos testes feitos em inglês. Em um deles, a IA repetiu que o mandato de Bolsonaro foi até 2023.

Nas respostas mais acertadas sobre quem é o presidente atual do Brasil, sem erros, a IA da Meta fornece referências de links para as informações, como da Al Jazeera em inglês e do site oficial da Casa Branca, e indica que o conteúdo foi gerado com ajuda do Bing.

• Miss IA: Quem é a brasileira que disputa 1º concurso de beleza para mulheres criadas por computador; veja concorrentes

Apesar de tudo, o robô acertou mais do que errou. A IA também não caiu em “pegadinhas”, como ocorreu, no mês passado, com a IA do Google. O sistema da Meta, por exemplo, indicou que os usuários não deveriam comer pedras, em uma pergunta que induzia ao erro.

O mesmo aconteceu em outros testes que perguntavam sobre a confiabilidade das vacinas e sobre o histórico de presidentes americanos nos EUA.

O sistema também se mostrou útil para informações genéricas sobre cidades (por exemplo, como ir de um ponto a outro de São Paulo) e em roteiros de viagens.

O antropólogo David Nemer, professor do Departamento de Estudos de Mídia da Universidade da Virgínia, que participou dos testes com O GLOBO, lembra que a chegada do recurso ao WhatsApp no Brasil dará uma escala inédita ao uso da IA da Meta.

• Mais de 100 restaurantes: McDonald's desativa IA em drive-thrus dos EUA após falhas viralizarem nas redes

Ele lembra que o ChatGPT tem cerca de 200 milhões de usuários no mundo. Só no Brasil, a estimativa é de que o WhatsApp esteja nos celulares de 150 milhões de pessoas.

— Muitas vezes a inteligência artificial vai acertar, principalmente para questões mais simples. As pessoas vão fazer perguntas mais tolas e ver que as respostas fazem sentido. O risco é que, para questões mais complexas, que IA não consiga responder, as pessoas possam tomar aquelas informações como acertadas sem questionamentos. Esse é um perigo — afirma Nemer.

Ele avalia, porém, que o fato da IA sugerir artigos e links de referência pode ajudar a minimizar o risco de desinformação. Mesmo assim, há dúvidas sobre que tipo de site seria usado. Para Nemer, falta transparência sobre de onde os sistemas de IA generativa, como o da Meta, tiram informações.

• Especialistas: 'Big techs' só se preocupam em remunerar conteúdo quando são ameaçadas com regulação

Alexandre Nascimento, especialista da SingularityUBrazil, que também participou do teste do GLOBO, pondera que os principais erros da IA aconteceram principalmente nas interações feitas com a IA em português, quando o sistema indicou que ainda teria dificuldades em dar respostas acuradas. Para ele, a tendência é que a Meta aperfeiçoe a ferramenta conforme sua expansão.

— A qualidade (das informações) deixa a desejar. Dá para ver que ele se confunde bastante, mas a confusão foi muito ligada ao contexto do Brasil, e ele mesmo faz uma ressalva que é uma versão preliminar — avalia Nascimento. — Eles ainda têm muito a melhorar.

Nos testes para a geração de imagem, também houve inconsistências. O sistema, por exemplo, teve dificuldades para criar a bandeira do Brasil. Em um pedido feito em português, o robô gerou uma bandeira com traços azuis e brancos na metade final e não conseguiu escrever “Ordem e Progresso”. Ao pedido em inglês, a IA usou as cores corretamente, mas também sem o lema e com apenas 18 estrelas, em vez de 27.

• Está farto de spam? Prepare-se: chegou a era do slop

Ao ser requisitada a gerar imagens de mulheres e homens, a IA não teve “alucinações”, mas reproduziu estereótipos: parte das mulheres foi retratada cozinhando, enquanto os homens apareciam em escritórios ou na rua. Foram pedidas imagens de mulheres e homens do Brasil, Itália, EUA, Quênia e China.

Foram pedidas também imagens “de uma pessoa que é CEO de uma grande empresa” e “de um CEO brasileiro”, sem especificações sobre raça ou gênero (em inglês, o artigo indefinido é neutro). Os resultados apresentaram homens brancos, de olhos claros.

— Se pedimos para criar uma imagem do Brasil ou dos EUA, é claro que a IA vai se apegar a estereótipos — diz Nemer. — Mas quando a gente olha para a questão do gênero, fica mais complicado, porque você tem ali mulheres exercendo funções que historicamente foram definidas para elas. Essa é a problemática. O estereótipo de CEO, infelizmente, acaba sendo esse homem branco.

Para a brasileira Thaís Lima, especialista de pesquisa e marketing que mora nos Estados Unidos, a IA da Meta parece menos avançada que o ChatGPT. Além dos testes propostos pelo GLOBO, ela avaliou que o sistema deu respostas menos completas para pedidos como de “criar um treino de academia” e “recomendações de filme”:

— Comparado com o serviço da OpenAI, me parece que o Llama (nome do modelo de IA usado pela Meta) ainda está bem no começo. Acho que eles lançaram para concorrer com ChatGPT, mas ainda não está no mesmo nível.

Perguntada sobre as inconsistências e o viés na criação de imagens, a Meta afirmou em nota que os “assistentes baseados em inteligência artificial generativa são uma tecnologia ainda nova e nem sempre entregam a resposta que pretendemos”. E acrescentou que isso se aplica a “todos os sistemas de IA generativa”: “Desde que lançamos nossos produtos, em setembro do ano passado, em inglês, nos Estados Unidos, estamos constantemente atualizando e melhorando nossos modelos”.