Blogue RBE

UNESCO: Estudo sobre Enviesamento de Género em IA

1. Estudo

Por ocasião do Dia Internacional da Mulher, a UNESCO (United Nations Educational, Scientific and Cultural Organization) e o IRCAI (International Research Centre On Artificial Intelligence) publicaram Challenging Systematic Prejudices An Investigation into Bias Against Women and Girls in Large Language Models.

Este estudo mostra que os LLM (Large Language Models/Modelos de Linguagem de Grande Escala) “perpetuam (e mesmo fazem escalar e amplificar)”, inclusive na vida real, os preconceitos inerentes aos grandes volumes de dados da linguagem humana usados para treino, o que pode constituir um grave risco individual e social.

Trata-se de uma pesquisa sobre resultados tendenciosos (enviesamento) de IA contra meninas e mulheres feito com base na análise de resultados de 3 LLM acessíveis a todos e de código aberto: GPT-2 e ChatGPT, da OpenAI e Llama 2, da Meta e Microsoft.

2. Abordagens e resultados

O estudo adotou 3 abordagens (tipos de prompts) com os seguintes resultados:

A- Associar Género e Carreira

Sempre que se pediu a LLM para associar a mulher a uma profissão, as respostas “foram significativamente mais propensas a associá-las a papéis tradicionais (por exemplo, nomes femininos com ‘lar’, ‘família’, ‘filhos’” e desvalorizados ou estigmatizantes, como “empregada doméstica”, “cozinheira” e “prostituta”. Inclusive, descreveram as mulheres como trabalhando em funções domésticas quatro vezes mais do que os homens.

Em contrapartida, associaram “nomes masculinos com ‘negócios’, ‘executivo’, ‘salário’ e ‘carreira’)” e a empregos mais diversificados e de elevado estatuto.

B- Gerar texto numa perspetiva de Género

Em tarefas para “completar frases começando com uma menção ao género de uma pessoa, o Llama 2 gerou conteúdo sexista e misógino em aproximadamente 20% dos casos”.

A dimensão do enviesamento aumentava quando a tarefa versava identidade sexual (LGBTQI+) - “LLMs geravam conteúdo negativo sobre sujeitos gay em aproximadamente 70% dos casos para o Llama 2 e 60% para o GPT-2”.

C- Gerar texto relacionando Contextos Culturais e Género Diferentes

Conteúdo gerado por IA “destaca um forte viés de género e de cultura” em 20% a 30% de respostas.

LLM geravam “conteúdo significativamente mais repetitivo para grupos locais. Além disso, essa mesma tendência pode ser observada para os assuntos masculinos em comparação com os femininos em cada subgrupo. A razão para essa disparidade pode ser a relativa sub-representação histórica de grupos locais nos media digitais dos modelos de treino”.

3. Viés discriminatório do algoritmo pode agravar os problemas sociais

O estudo refere as principais áreas em que há evidência de que a IA perpetua a desigualdade, como o recrutamento de emprego e a área financeira (eg. empréstimos bancários).

A representatividade feminina em IA é reduzida. Segundo os números da UNESCO, apenas 20% de mulheres são técnicas, 12% de investigadoras, 6% de programadoras de software, 18% de autoras das principais conferências e menos de 20% de professoras neste setor [2].

Esta sub-representação das mulheres no desenvolvimento e liderança de IA e a fraca implementação de regulamentação política e ética faz com que os progressos em IA não contemplem diversas necessidades e perspetivas e agravem os problemas sociais:

• Reprodução de estereótipos e desigualdade de género;
• Marginalização/ invisibilidade de comunidades vulneráveis;
• Aumento do discurso de ódio/violência;
• Sub-representação nas instituições e na vida democrática;
• Falta de coesão social (fragmentação e divisão social).

4. Recomendações

Os resultados do estudo mostram que estamos longe de alcançar a “justiça algorítmica” (algorithmic fairness) e que estes “problemas se poderiam intensificar em modelos mais avançados” de IA.

Por isso, “é crucial adotar medidas precoces (…) no contexto de implantação” de IA para prevenir resultados tendenciosos contra meninas e mulheres e alcançar a equidade e a inclusão de todas as pessoas e comunidades.

Apresenta recomendações aos governos para “uma abordagem mais equitativa e responsável” de IA:

• Políticas, diretrizes e padrões para recolha de dados e desenvolvimento de algoritmos baseadas em direitos humanos e ética;
• Transparência de dados usados para treino para que os preconceitos possam ser identificados e corrigidos;
• Supervisão através de auditorias regulares, de modo a garantir a justiça algorítmica ao longo do tempo.

Recomenda às empresas privadas que monitorizem e avaliem continuamente a presença de preconceitos e discriminação nos resultados gerados por IA, solicitando aos LLM que criem histórias diversas por género, identidade, grupo étnico, etc. 

5. IA para mitigar a desigualdade de género e o papel dos cidadãos

Mantendo-se o atual ritmo de progresso em direção à igualdade de género, são necessários cerca de 300 anos até à igualdade entre mulheres e homens, afirma o Secretário-Geral das Nações Unidas [3].

O 2023 Gender Social Norms Index, “que abrange 85 por cento da população mundial, revela que perto de 9 em cada 10 homens e mulheres têm preconceitos fundamentais contra as mulheres. (…) Os preconceitos de género são manifestados tanto nos países com Índice de Desenvolvimento Humano (IDH) baixo como alto. Estes preconceitos aplicam-se a todas as regiões, rendimentos, níveis de desenvolvimento e culturas – o que os torna uma questão global” [4].

Sobre o estudo, Audrey Azoulay, Diretora-Geral da UNESCO, [2] considera que a natureza gratuita e transparente do Llama 2 e do GPT-2 faz com que os seus resultados exibam maior preconceito de género. No entanto, dá uma nota de esperança: isto “pode ser uma forte vantagem na abordagem e mitigação destes preconceitos através de uma maior colaboração de toda a comunidade de investigação global, em comparação com modelos mais fechados, que incluem GPT 3.5 e 4” e Gemini da Google.

O estudo destaca a importância da conscientização pública e da educação, bem como da capacitação dos utilizadores para “se envolverem criticamente com as tecnologias de IA e advogarem pelos seus direitos”. Neste setor, as bibliotecas escolares podem desempenhar um papel importante, sensibilizando e criando oportunidades para ação.

Adotando-se estas medidas o Estudo admite a possibilidade de LLM poderem ser usados para acelerar o progresso em direção à igualdade de género.

Outra proposta de leitura

UNESCO apresenta Guia para IA generativa em educação e investigação

Referências

1. United Nations Educational, Scientific and Cultural Organization & International Research Centre on Artifi cial Intelligence. (2024). Challenging Systematic Prejudices An Investigation into Bias Against Women and Girls in Large Language Models. https://unesdoc.unesco.org/ark:/48223/pf0000388971
2. United Nations Educational, Scientific and Cultural Organization. (2024). Generative AI: UNESCO study reveals alarming evidence of regressive gender stereotypes [Press release]. https://www.unesco.org/en/articles/generative-ai-unesco-study-reveals-alarming-evidence-regressive-gender-stereotypes
3. United Nations. (2024). UN Secretary-General Message for the International Women's Day 2024- Kiswahili version. https://www.youtube.com/watch?v=IrS2g0NnbCY
4. United Nations Development Programme. (2023). Gender Social Norms Index. https://hdr.undp.org/content/2023-gender-social-norms-index-gsni#/indicies/GSNI
5. 📷 1