Em nome dos dados: a nova religião da governança em educação

Em uma de suas palestras, a pesquisadora Cathy O'Neil tratou da questão do sistema de avaliação de desempenho docente nos EUA. Revela como estes sistemas em algumas redes educativas encorajaram a perseguição, o fracasso e a demissão injusta de bons professores em detrimento dos menos competentes. Os professores foram demitidos sem saber os motivos específicos porque a única resposta foi que o sistema os avaliou negativamente. A questão chegou aos tribunais e matemáticos foram envolvidos para entender como funcionava o processo de avaliação. A descoberta revelou que o algoritmo havia sido programado ERRADO.

crise financeira de 2008 e modelos matemáticos

A mesma pesquisadora discutiu como a crise financeira de 2008 e os modelos matemáticos aplicados ao sistema financeiro levaram à maior expropriação de capitais da população negra. Originou-se nos Estados Unidos, principalmente devido à expansão maciça dos empréstimos hipotecários, mesmo para as camadas mais pobres da classe trabalhadora. Estes empréstimos foram muitas vezes concedidos a pessoas que não conseguiam pagar, o que levou a uma bolha imobiliária e à extração de lucros financeiros veio diretamente dos rendimentos pessoais das pessoas.

coded bias

O documentário “Coded Bias” é uma exploração reveladora das fraquezas e preconceitos presentes nos algoritmos, particularmente no contexto do reconhecimento facial e da inteligência artificial (IA). Vamos discutir os pontos levantados por pesquisadores como Joy Buolamwini, Silkie Carlo e Cathy O'Neil:

Joy Buolamwini e preconceito racial:

Joy Buolamwini, pesquisadora do MIT, pesquisou o reconhecimento facial e descobriu que esses algoritmos têm dificuldade em identificar os rostos de homens e mulheres negros. A imprecisão dos algoritmos para a identificação tinha margem próximo de 100% apenas os homens brancos.

Ela, uma mulher negra, fez um experimento no MIT Media Lab onde o sistema não a reconheceu até que ela usasse uma máscara branca. Isto revelou que os programas de IA são treinados com dados predominantemente de homens brancos, resultando em imprecisões na detecção de rostos femininos ou negros.

Silkie Carlo e a Vigilância:

Silkie Carlo, diretora do Big Brother Watch no Reino Unido, monitora o uso do reconhecimento facial pela polícia. A questão é que esta tecnologia poderia acusar e prender suspeitos com base em análises incorretas.

A IA também está sendo utilizada para decisões de crédito, priorizando prisões e hospitais, ampliando seu impacto na sociedade.

Cathy O'Neil e a Caixa Preta:

Desafios éticos e transparência: Cathy O'Neil, autora de "Weapons of Math Destruction", alerta sobre os perigos da confiança cega nos algoritmos.

Eles se referem aos modelos de IA como “caixas pretas” porque muitas vezes não entendemos totalmente como eles funcionam. Os programadores sozinhos não conseguem explicar completamente o processo de aprendizagem dessas máquinas. Os engenheiros de softwares não conseguem explicar o que acontece com a aprendizagem desses algoritmos e as tomadas de decisões para recomendar, indicar, impedir, etc. Há quem diga que perderam o controle e já faz algum tempo. Como falamos: "a aprendizagem de máquina é não supervisionada", bilhões de parãmetros de dados, sem saber como a máquina "aprende" ou como constrói os seus padrões. Não deixa de ser uma fé cega.

Em suma, “Coded Bias” lembra-nos que a IA não é infalível e que precisamos de estar conscientes dos preconceitos e das consequências da sua utilização. A discussão ética sobre estas tecnologias é essencial para moldar um futuro mais justo e consciente, mais ainda em decisões referentes à educação.

"Reimaginar o futuro"

Durante a pandemia de covid-19 de 2020, houve protestos de estudantes universitários ingleses contra aplicativos que serviam para detectar trapaças em avaliações remotas. Os alunos identificados eram em sua maioria negros. Os sistemas automatizados, os algoritmos e a tecnologia em geral podem afetar desproporcionalmente grupos minoritários, como mulheres, negros, pessoas trans, e radicalizar ainda mais as desigualdades presentes na sociedade, à medida que as máquinas “aprendem com os dados do passado”. Por mais que os tecnólogos não gostem da história, ela nunca foi tão usada para projetar o futuro. É o passado que se projeta na esmagadora maioria dos casos.

Além disso, é difícil detectar fraudes em análises online. Os algoritmos podem ajudar a identificar padrões suspeitos, mas também podem gerar falsos positivos.

As tecnologias educacionais devem ser examinadas criticamente no que diz respeito ao seu impacto histórico e às implicações para a comunidade escolar. Nas últimas décadas, o setor de tecnologia da informação ganhou poder financeiro e influência política, e a voz do Vale do Silício tem sido proeminente nos debates sobre a reforma educacional. Salman Khan e outros defensores de soluções tecnológicas frequentemente afirmam que tudo mudou, exceto a escola. Essa frase é repetida por influenciadores da educação: "se um abduzido voltasse à Terra, a única coisa que reconheceria seria a sala de aula". As perspectivas futuras na educação são profundamente ideológicas e políticas. Em particular, a inovação virou sinônimo de tecnologia, uma abordagem comum em feiras comerciais e eventos relacionados a produtos e serviços tecnológicos para a escola.

A crescente influência de seis grandes empresas que estão implantando plataformas nas instituições de educação, espalhadas entre a Ásia e os Estados Unidos, levanta preocupações significativas sobre o controle e uso de dados. Empresas asiáticas, com sistemas que enfatizam o controle social e a modelagem de comportamento por meio de pontuações e punições, exemplificam um aspecto preocupante dessa tendência. A magnitude do poder dessas empresas, comparável ao PIB de grandes países, permite-lhes dominar a infraestrutura de dados da população global. Isso tem implicações vastas e profundas: desde a seleção de recursos humanos, política de crédito estudantil, admissões universitárias, até seguros de carro e saúde. Além disso, esses dados podem influenciar as escolhas de consumo, incluindo jogos e produtos que podem fomentar vícios ou perpetuar a pobreza.

E o chão da sala de aula já passou por tudo isso, não com essa profundidade e com o volume, variedade e velocidade de hoje. Mas o chão da escola já viu muito projetos como o anunciado durante a pandemia pelo prefeito de Nova York e Bill Gates: "Vamos reimaginar a Educação". Educadores são convidados a reimaginar a educação desde o telégrafo. Isso tem mais de um século. É vergonhoso um educador repetir essa ladainha ideológica da educação como carroça do século XlX. Eu fico espantada com alguns discursos que não dão conta do quanto as instituições de educação estão informatizadas e as suas infraestruturas cada vez mais dataficadas. Podem não aparcer nas mediações de ensino eaprendizagem de forma evidente, mas aparecem nas burocracias, tomadas de decisões, elaboração de políticas políticas, aprendizagem cada vez mais como desemprenho.

plato, logo, scholar

Projetos como PLATO e LOGO foram desenvolvidos para proporcionar um ambiente de aprendizagem mais eficaz do que o ensino assistido por computador. Eles representaram mudanças em direção à flexibilidade, adaptabilidade e foco no processo interno de aprendizagem do aluno. Tais projetos estão lá na década de 60 do século passado. O LOGO foi amplamente usado em escolas do mundo inteiro, um micromundos para ensinar estudantes a programar, muitas escolas usaram esse programa na década de 80 e contribuiram bastante para a escolha de ciencia da computação, como profissão para estudantes de escolas privadas no Brasil.

Os desenvolvimentos na inteligência artificial, como o SCHOLAR, com aplicações de IA, procuraram replicar a adaptabilidade e a capacidade dialógica dos professores, enfatizando a necessidade de os sistemas educativos serem reativos e flexíveis às contribuições dos utilizadores, em vez de seguirem automatizações pré-definidas.

Atualmente, acompanhamos a proliferação de APPs gratuitos durante a pandemia e sabemos hoje que na corrida pelo dominio do mercado de IA, as empresas vão utilizar base de dados do GOOGLE.DOC, youtube, etc. Têm ideia da base de dados do google doc com todas as universidades e pesquisadores que concordaram do email ou outro aplicativo acessar a documentação sobre as suas pesquisas? Documentos sigilosos das universidades? Esse foi o preço pago para usar as ferramentas "gratuitas".

Historicamente, a integração da tecnologia na educação passou por várias fases, começando com a cibernética, passando pelo behaviorismo, construtivismo, até o cognitivismo, especialmente após o impacto do Sputnik em 1957. Cada uma dessas abordagens reflete mudanças nos valores e prioridades sociais. No entanto, o que estamos testemunhando hoje vai além da simples aplicação de teorias educacionais. Estamos diante de uma era em que a educação está intrinsecamente ligada à economia digital e ao poder corporativo.

Essas empresas não apenas influenciam a forma como a educação é entregue e consumida, mas também moldam a sociedade através do controle e da análise de dados em larga escala. Com isso, surgem questões éticas urgentes sobre privacidade, consentimento e a potencial manipulação de comportamentos e crenças. A dependência de algoritmos para decisões importantes, que afetam a vida das pessoas, exige uma vigilância constante para garantir que esses sistemas sejam justos, transparentes e responsáveis, caso contrário, todas as desigualdades sociais serão ainda mais aprofundadas.

o futuro da educação

O futuro da educação, portanto, está atrelado não apenas ao desenvolvimento tecnológico, mas também às decisões políticas e éticas que definirão como essas tecnologias serão utilizadas. É vital garantir que a integração da tecnologia na educação não seja apenas uma ferramenta para o crescimento econômico, mas também um meio para promover uma sociedade mais justa e equitativa. Isso requer uma colaboração multidisciplinar entre educadores, formuladores de políticas, especialistas em tecnologia e, crucialmente, as comunidades que serão mais afetadas por essas mudanças.

Os esforços históricos para planejar o futuro da educação através da tecnologia, incluindo os esforços da OCDE, e outros mecanismo multilaterais, mostram como as visões de um futuro altamente informatizado influenciaram a política e o debate. Contudo, estes esforços têm muitas vezes um carácter elitista, limitado a grupos sociais privilegiados.

A história da tecnologia educacional reflete, portanto, uma série de tensões e transformações, desde grandes expectativas e promessas até realidades muitas vezes mais complexas e menos ideais. Estudar esta história ajuda a compreender os desafios e oportunidades atuais na integração da tecnologia na educação. Do jeito que está, não dá.